Los orígenes de datos son el punto de partida del flujo de datos: a partir de ellos se crean las vistas de datos y, sobre las vistas, los métodos de las APIs. Este artículo explica cómo se clasifican los orígenes según cómo se actualizan y qué operación hacen, qué tipos de origen ofrece el Workspace hoy y a qué artículo ir para configurar cada uno.
Un origen puede ser de lectura (trae datos) o de escritura (crea, modifica o elimina datos en el sistema de origen). Los orígenes de servicio web y de base de datos admiten las dos.
Según el origen, hace falta un tipo de autenticación (credenciales, token, certificado) o una regla de firewall que permita las conexiones desde la plataforma. Las IPs de salida están en IPs de la plataforma.
Desde Orígenes de datos > Nuevo origen de datos se elige el tipo. Cada uno tiene su propio formulario y su artículo.
Tres pestañas: REST/JSON, REST/CSV para servicios que responden texto separado por comas, y SOAP/XML. Admiten lectura y escritura, mapeos de parámetros, cabeceras, cuerpo y autorización. Ver Orígenes de datos desde servicios web REST/json y Orígenes de datos desde servicios web SOAP/xml.
Un archivo que se sube desde la computadora. Para crear vistas de datos sirven CSV, TSV, TXT, XLSX, ODS, JSON, XML, HTML, KML y KMZ; otros formatos (PDF, documentos de texto, imágenes, comprimidos) quedan como archivo descargable. Ver Orígenes de datos desde archivos y Crear un origen de datos cargando un archivo JSON local.
Conexión directa a MySQL, MongoDB, PostgreSQL, SQL Server u Oracle, con una consulta o un procedimiento almacenado, pool de conexiones y propiedades del driver. Ver Orígenes de datos desde bases de datos.
Un archivo alojado en una URL HTTP(S), en un servidor FTP, en un bucket S3 o en una ruta local del servidor. La plataforma lo vuelve a leer con la frecuencia que se le define. Es también la forma de usar una planilla de Google publicada como CSV. Ver Orígenes de datos desde URLs y Orígenes de datos desde Google Spreadsheet.
Mensajes de un tópico de Kafka, para leerlos bajo demanda o para ejecutar una vista cada vez que llega un mensaje. Ver Orígenes de datos: Kafka.
Dos opciones aparecen solo si la cuenta las tiene habilitadas: Desde datos elastizados, que indexa un CSV para superar el límite de filas de las vistas, y Crear con IA (beta), un asistente que arma el origen a partir de una descripción.
Al guardar un origen se define cada cuánto la plataforma vuelve a consultarlo: cada minuto, cada hora, cada día, bajo demanda o con una expresión cron. Es el primer nivel de caché. Si un servicio web actualiza sus datos una vez por hora y la frecuencia es de una hora, la primera consulta de cada hora llega al origen y las siguientes se responden desde la caché. Elegir una frecuencia acorde al origen evita impactarlo sin necesidad y mejora los tiempos de respuesta. Para orígenes con muchas filas está el Spool, que recolecta en segundo plano, y para ver cada ejecución está la pestaña Audit.
Con el origen creado y probado, el siguiente paso es crear una vista de datos sobre él y, desde la vista, un método en una API. Ver Qué es una vista de datos.