Qué son los orígenes de datos

Qué son los orígenes de datos

Resumen

Los orígenes de datos son el punto de partida del flujo de datos: a partir de ellos se crean las vistas de datos y, sobre las vistas, los métodos de las APIs. Este artículo explica cómo se clasifican los orígenes según cómo se actualizan y qué operación hacen, qué tipos de origen ofrece el Workspace hoy y a qué artículo ir para configurar cada uno.

Cómo se clasifican

Por frecuencia de actualización

  • Estáticos: datos que no cambian, como un histórico consolidado del año anterior o una tabla de regiones e identificadores.
  • Incrementales: datos que no se modifican pero se agregan, en general con una frecuencia conocida, como un dato nuevo por día que se suma a los anteriores.
  • Dinámicos: datos que cambian seguido y cuyo valor está en estar al día, como un indicador financiero o la posición de un vehículo.

Por tipo de operación

Un origen puede ser de lectura (trae datos) o de escritura (crea, modifica o elimina datos en el sistema de origen). Los orígenes de servicio web y de base de datos admiten las dos.

Por acceso

Según el origen, hace falta un tipo de autenticación (credenciales, token, certificado) o una regla de firewall que permita las conexiones desde la plataforma. Las IPs de salida están en IPs de la plataforma.

Tipos de origen que ofrece el Workspace

Desde Orígenes de datos > Nuevo origen de datos se elige el tipo. Cada uno tiene su propio formulario y su artículo.

Desde servicio web

Tres pestañas: REST/JSON, REST/CSV para servicios que responden texto separado por comas, y SOAP/XML. Admiten lectura y escritura, mapeos de parámetros, cabeceras, cuerpo y autorización. Ver Orígenes de datos desde servicios web REST/json y Orígenes de datos desde servicios web SOAP/xml.

Desde archivo

Un archivo que se sube desde la computadora. Para crear vistas de datos sirven CSV, TSV, TXT, XLSX, ODS, JSON, XML, HTML, KML y KMZ; otros formatos (PDF, documentos de texto, imágenes, comprimidos) quedan como archivo descargable. Ver Orígenes de datos desde archivos y Crear un origen de datos cargando un archivo JSON local.

Desde una base de datos

Conexión directa a MySQL, MongoDB, PostgreSQL, SQL Server u Oracle, con una consulta o un procedimiento almacenado, pool de conexiones y propiedades del driver. Ver Orígenes de datos desde bases de datos.

Desde archivo remoto

Un archivo alojado en una URL HTTP(S), en un servidor FTP, en un bucket S3 o en una ruta local del servidor. La plataforma lo vuelve a leer con la frecuencia que se le define. Es también la forma de usar una planilla de Google publicada como CSV. Ver Orígenes de datos desde URLs y Orígenes de datos desde Google Spreadsheet.

Desde cola de tareas

Mensajes de un tópico de Kafka, para leerlos bajo demanda o para ejecutar una vista cada vez que llega un mensaje. Ver Orígenes de datos: Kafka.

Según la cuenta

Dos opciones aparecen solo si la cuenta las tiene habilitadas: Desde datos elastizados, que indexa un CSV para superar el límite de filas de las vistas, y Crear con IA (beta), un asistente que arma el origen a partir de una descripción.

Frecuencia de actualización y caché

Al guardar un origen se define cada cuánto la plataforma vuelve a consultarlo: cada minuto, cada hora, cada día, bajo demanda o con una expresión cron. Es el primer nivel de caché. Si un servicio web actualiza sus datos una vez por hora y la frecuencia es de una hora, la primera consulta de cada hora llega al origen y las siguientes se responden desde la caché. Elegir una frecuencia acorde al origen evita impactarlo sin necesidad y mejora los tiempos de respuesta. Para orígenes con muchas filas está el Spool, que recolecta en segundo plano, y para ver cada ejecución está la pestaña Audit.

Resultado esperado

Con el origen creado y probado, el siguiente paso es crear una vista de datos sobre él y, desde la vista, un método en una API. Ver Qué es una vista de datos.

Artículos relacionados