Qué son los orígenes de datos

Qué son los orígenes de datos

Resumen

Los orígenes de datos son el punto de partida del flujo de datos: a partir de ellos se crean las vistas de datos y, sobre las vistas, los métodos de las APIs. Este artículo explica cómo se clasifican los orígenes según cómo se actualizan y qué operación hacen, qué tipos de origen ofrece el Workspace hoy y a qué artículo ir para configurar cada uno.

Cómo se clasifican

Por frecuencia de actualización

  • Estáticos: datos que no cambian, como un histórico consolidado del año anterior o una tabla de regiones e identificadores.
  • Incrementales: datos que no se modifican pero se agregan, en general con una frecuencia conocida, como un dato nuevo por día que se suma a los anteriores.
  • Dinámicos: datos que cambian seguido y cuyo valor está en estar al día, como un indicador financiero o la posición de un vehículo.

Por tipo de operación

Un origen puede ser de lectura (trae datos) o de escritura (crea, modifica o elimina datos en el sistema de origen). Los orígenes de servicio web y de base de datos admiten las dos.

Por acceso

Según el origen, hace falta un tipo de autenticación (credenciales, token, certificado) o una regla de firewall que permita las conexiones desde la plataforma. Las IPs de salida están en IPs de la plataforma.

Tipos de origen que ofrece el Workspace

Desde Orígenes de datos > Nuevo origen de datos se elige el tipo. Cada uno tiene su propio formulario y su artículo.

Desde servicio web

Tres pestañas: REST/JSON, REST/CSV para servicios que responden texto separado por comas, y SOAP/XML. Admiten lectura y escritura, mapeos de parámetros, cabeceras, cuerpo y autorización. Ver Orígenes de datos desde servicios web REST/json y Orígenes de datos desde servicios web SOAP/xml.

Desde archivo

Un archivo que se sube desde la computadora. Para crear vistas de datos sirven CSV, TSV, TXT, XLSX, ODS, JSON, XML, HTML, KML y KMZ; otros formatos (PDF, documentos de texto, imágenes, comprimidos) quedan como archivo descargable. Ver Orígenes de datos desde archivos y Crear un origen de datos cargando un archivo JSON local.

Desde una base de datos

Conexión directa a MySQL, MongoDB, PostgreSQL, SQL Server u Oracle, con una consulta o un procedimiento almacenado, pool de conexiones y propiedades del driver. Ver Orígenes de datos desde bases de datos.

Desde archivo remoto

Un archivo alojado en una URL HTTP(S), en un servidor FTP, en un bucket S3 o en una ruta local del servidor. La plataforma lo vuelve a leer con la frecuencia que se le define. Es también la forma de usar una planilla de Google publicada como CSV. Ver Orígenes de datos desde URLs y Orígenes de datos desde Google Spreadsheet.

Desde cola de tareas

Mensajes de un tópico de Kafka, para leerlos bajo demanda o para ejecutar una vista cada vez que llega un mensaje. Ver Orígenes de datos: Kafka.

Según la cuenta

Dos opciones aparecen solo si la cuenta las tiene habilitadas: Desde datos elastizados, que indexa un CSV para superar el límite de filas de las vistas, y Crear con IA (beta), un asistente que arma el origen a partir de una descripción.

Frecuencia de actualización y caché

Al guardar un origen se define cada cuánto la plataforma vuelve a consultarlo: cada minuto, cada hora, cada día, bajo demanda o con una expresión cron. Es el primer nivel de caché. Si un servicio web actualiza sus datos una vez por hora y la frecuencia es de una hora, la primera consulta de cada hora llega al origen y las siguientes se responden desde la caché. Elegir una frecuencia acorde al origen evita impactarlo sin necesidad y mejora los tiempos de respuesta. Para orígenes con muchas filas está el Spool, que recolecta en segundo plano, y para ver cada ejecución está la pestaña Audit.

Resultado esperado

Con el origen creado y probado, el siguiente paso es crear una vista de datos sobre él y, desde la vista, un método en una API. Ver Qué es una vista de datos.

Artículos relacionados

    • Related Articles

    • Orígenes de datos desde bases de datos

      Resumen El conector a bases de datos permite recolectar datos desde MySQL, MongoDB, PostgreSQL, SQL Server y Oracle, o configurar acciones de escritura, para luego crear vistas de datos y exponerlas en métodos de su API. Esta guía explica la ...
    • Qué es una vista de datos

      Resumen La plataforma no requiere de un proceso ETL off-line para extraer los datos desde los orígenes. Asociadas a la vista se encuentra un conjunto de reglas que el motor de datos interpreta para consultar la fuente a demanda o periódicamente, ...
    • Orígenes de datos desde URLs

      Resumen El conector de URLs permite recolectar datos desde protocolos HTTP(s) y FTP. Para recolectar datos desde un archivo alojado en una URL, debes ir a Orígenes de Datos → Desde URLs Configuración Ingresar una URL con un enlace válido desde donde ...
    • Orígenes de datos desde servicios web REST/json

      Resumen El conector a servicios web REST/JSON permite recolectar datos desde un servicio web, o configurar acciones de escritura sobre él, para luego crear vistas de datos y exponerlos en métodos de su API. En esta guía configura la solicitud al ...
    • Orígenes de datos desde Google Spreadsheet

      Resumen Una planilla de Google Sheets publicada en la web se puede usar como origen de datos: la plataforma la lee como un archivo CSV remoto y, con la frecuencia de actualización que usted defina, vuelve a leerla cuando cambia, sin editar nada en el ...