Qué son los orígenes de datos

Qué son los orígenes de datos

Resumen

Los orígenes de datos son el punto de partida del flujo de los datos, a partir de los cuales se crearán vistas de datos y métodos de APIs.

A continuación se detallan las caraceterísticas de los orígenes de datos.



Algunos conceptos básicos

Cuando hablamos de orígenes de datos, debemos considerar.

Tipo o frecuencia de actualización

Los orígenes de datos pueden clasificarse de acuerdo a su tipo o frecuencia de actualización.
  1. Estáticos: son aquellos datos que no serán actualizados. Por ejemplo, datos históricos consolidados del año previo o un listado de valores de regiones e identificadores.

  2. Incrementales: son aquellos datos que no se actualizan, si no que se agregan nuevos datos, en general con una frecuencia conocida. Por ejemplo, todos los días se genera un nuevo dato que debe disponibilizarse junto a los datos de los días precedentes.

  3. Dinámicos: son aquellos datos que se modifican frecuentemente y que su valor consiste en mantenerse actualizados. Por ejemplo, el valor de un indicador financiero diario o la posición GPS del transporte público.



Formato y tipo de origen

Los orígenes de datos pueden clasificarse según su formato y tipo de origen.

  1. Archivo de texto plano (.txt)
  2. Archivo separado por comas (.csv)
  3. Archivo planilla de cálculo (.xlsx)
  4. Archivos alojados en un endpoint (http(s), ftp)
  5. Servicio web SOAP/xml
  6. Servicio web REST/json
  7. Bases de datos relacionales
  8. Bases de datos documentales

Tipo de operación

Los orígenes de datos pueden clasificarse según la acción o tipo de operación:
  1. Escritura (crear, modificar, eliminar)
  2. Lectura

Tipos de accesos a los orígenes de datos

Dependiendo del tipo de origen de datos pueden requerirse accesos específicos.

Por ejemplo, para un servicio web puede requerir diferentes tipos de autenticación o puede ser necesario agregar reglas en el firewall para permitir las conexiones desde la plataforma.

Formas de actualización de los datos

La forma de actualización de los datos dependerá de su tipo y origen. Por ejemplo, si el origen es un archivo de texto plano y son de tipo estático o incremental, pueden actualizarse de forma manual o mediante otros procesos automatizados.

Frecuencia de actualización de los datos

La frecuencia de actualización de los datos es un aspecto central a tener en cuenta en la Gestión de APIs. La frecuencia debe definirse en unidades de tiempo (cada un minuto, una hora, un día) o incluso con tareas de actualización específicas conocidas como cron.

La frecuencia de actualización es una decisión que impacta sobre la gestión del caché. Por ello, es fundamental definir una frecuencia acorde a la actualización de los datos de origen con el fin de optimizar los tiempos de respuesta y evitar la latencia de redes.

Además, la gestión de caché mediante la definición de la frecuencia de actualización de un origen de datos permitirá impactar a ese origen solo cuando fuese necesario. Por ejemplo, si la plataforma de gestión de APIs debe consultar un servicio web que actualiza sus datos cada una hora, la frecuencia definida debe ser de una hora.
De esta manera, se consultará al servicio web de origen solo una vez por hora y la respuesta permanecerá en caché durante ese periodo. Todas las consultas que reciba la plataforma durante ese intervalo serán entregadas de caché. Dicho de otra manera, la primera consulta recibida impactará sobre el servicio web de origen, mientras que las subsiguientes serán entregadas de caché. De esta forma la plataforma absorbe las consultas realizadas evitando impactar al origen cuando no se considere necesario. 


¿Que formato de datos son soportados por Vor-Tex?

Los siguientes formatos y orígenes le permitirán crear vistas de datos:

Archivos

  1. Formato abierto: CSV, TSV.
  2. Formato de texto: TXT
  3. Formato de Excel: XLSX
  4. Formato de OpenOffice:  ODS

Servicios WEB

  1. REST/JSON
  2. SOAP/XML

Bases de datos

  1. Elastic Search
  2. Mongo DB
  3. MySQL
  4. SQLServer
  5. PostgreSQL
  6. Oracle DB

Web
  1. Tablas HTML

Datos Topológicos

  1. Keyhole Markup Language (KML, KMZ)
    • Related Articles

    • Orígenes de datos desde Bases de datos

      Resumen El conector a Bases de datos ofrece todas las capacidades necesarias para conectarse a este tipo de orígenes. Esta opción permite recolectar datos desde diferentes tipos de bases de datos o configurar acciones de escritura, para luego crear ...
    • Qué es una vista de datos

      Resumen La plataforma no requiere de un proceso ETL off-line para extraer los datos desde los orígenes, sino que asociadas a la vista se encuentran un conjunto de reglas que el motor de datos interpreta para consultar la fuente a demanda o ...
    • Orígenes de datos desde URLs

      Resumen El conector de URLs permite recolectar datos desde protocolos HTTP(s) y FTP. Para recolectar datos desde un archivo alojado en una URL, debes ir a Orígenes de Datos → Desde URLs Configuración Ingresar una URL con un  enlace válido desde donde ...
    • Orígenes de datos desde servicios web REST/json

      Resumen El conector a servicios web REST/JSON ofrece todas las capacidades necesarias para conectarse a este tipo de orígenes. Esta opción permite recolectar datos desde servicios web REST/JSON o configurar acciones de escritura, para luego crear ...
    • Qué son los recursos de datos: ciclo de vida y flujo de publicación

      Resumen Los recursos de datos de la plataforma son aquellos que permiten recolectar, transformar y exponer datos. La plataforma cuenta con tres recursos de datos: Orígenes de datos, Vistas de datos y APIs. Orígenes de Datos: mediante los orígenes de ...