El origen de datos desde Kafka permite integrar VOR-TEX con un
cluster Apache Kafka, habilitando la interacción con sus tópicos
(colas/channels). Es uno de los tipos de dataset disponibles al crear un nuevo
Origen de Datos, seleccionando la opción "From Queue" y luego la
pestaña Kafka.
3.1 ¿Qué es Kafka en este contexto?
Apache Kafka es un sistema de mensajería basado en tópicos
distribuidos. Cada tópico actúa como una cola o canal donde los productores
escriben mensajes y los consumidores los leen. VOR-TEX puede operar como
productor, consumidor o listener sobre esos tópicos.
3.2 Modos de Operación
Al configurar un origen de datos Kafka, se selecciona uno de
tres modos de operación mediante el selector ubicado junto al botón
"Probar":
|
Lectura
|
VOR-TEX actúa como
consumidor: lee mensajes existentes en un tópico Kafka.
|
|
Escritura
|
VOR-TEX actúa como
productor: envía mensajes a un tópico Kafka.
|
|
Escucha
|
VOR-TEX se suscribe y
escucha mensajes en tiempo real (funcionalidad en pruebas / beta).
|
|
⚠ El modo Escucha se encuentra actualmente en
fase de pruebas (beta).
Su comportamiento puede no ser estable en
todos los entornos.
|
3.3 Configuración de la Solicitud
La interfaz de configuración contiene las siguientes pestañas:
|
Autorización
|
Configuración del método de
autenticación con el cluster Kafka.
|
|
Cabeceras
|
Headers adicionales a
incluir en la conexión.
|
|
Parámetros
|
Parámetros que se enviarán
en la solicitud. Pueden marcarse como editables para permitir su modificación
en tiempo de ejecución.
|
|
Propiedades de la
conexión
|
Configuración avanzada de
la conexión al broker Kafka (timeouts, retries, etc.).
|
|
Mensajes
|
Cuerpo del mensaje a enviar
(para modo Escritura). Permite ingreso de JSON u otros formatos.
|
|
Escucha
|
Configuración específica
del modo Escucha (tópico a suscribir, grupo de consumidores, etc.).
|
Configuración de Parámetros
En la pestaña Parámetros se pueden agregar variables que
acompañan la solicitud. Cada parámetro tiene:
• Nombre — seleccionable desde una lista de parámetros
disponibles o ingresado manualmente.
• Valor — valor del parámetro, con opción de usar la
función Mapear para enlazarlo a datos dinámicos.
• El valor será editable — casilla que permite al usuario
final modificar el parámetro en cada ejecución.
Configuración de Mensajes (modo Escritura)
En la pestaña Mensajes se especifica el cuerpo del mensaje que
VOR-TEX enviará al tópico Kafka. El campo acepta texto libre (JSON, texto
plano, etc.) y dispone del botón Mapear para enlazar el contenido a datos
dinámicos del pipeline.
3.4 Métodos de Autenticación
El origen de datos Kafka soporta dos métodos de autenticación
con el cluster:
|
mTLS (certificados)
|
Mutual TLS: autenticación
bidireccional mediante certificados X.509. El cliente y el servidor se
autentican mutuamente. Se requiere configurar el certificado del cliente, la
clave privada y el certificado de la CA del servidor.
|
|
SASL_SSL
(usuario/contraseña)
|
Autenticación por
credenciales (usuario y contraseña) sobre una conexión cifrada con SSL/TLS.
Utiliza el mecanismo SASL para la autenticación y SSL para el cifrado de la
transmisión.
|
3.5 Flujo de Creación
Para crear un nuevo origen de datos Kafka:
• 1. Ir a Orígenes de datos y hacer clic en Nuevo origen
de datos.
• 2. Seleccionar la opción From Queue.
• 3. En la ventana de configuración, asegurarse de estar
en la pestaña Kafka.
• 4. Ingresar la ruta (tópico) en el campo
correspondiente.
• 5. Seleccionar el modo de operación: Lectura, Escritura
o Escucha.
• 6. Configurar la autenticación (mTLS o SASL_SSL) en la
pestaña Autorización.
• 7. Completar parámetros, mensajes y propiedades según
el modo seleccionado.
• 8. Usar el botón Probar para validar la conexión.
• 9. Hacer clic en Continuar para finalizar la creación
del dataset.
|
💡 El botón "Mapear origen" permite
enlazar la ruta del tópico dinámicamente
desde otra fuente de datos o variable del
pipeline.
|