El origen de datos desde Kafka permite integrar la plataforma con un clúster Apache Kafka, habilitando la interacción con sus tópicos. Es uno de los tipos de origen disponibles al crear un nuevo origen de datos, con la opción Desde cola de tareas y la pestaña Kafka. La plataforma puede operar como consumidor (Lectura), como productor (Escritura) o como Escucha (listener), que consume los mensajes de un tópico y despacha cada uno hacia una vista de datos. En este video ve cómo crear un origen de lectura, probarlo y guardarlo, y cómo configurar un origen en modo escucha.
Junto al botón Probar se elige el modo:
El formato del mensaje puede ser JSON o Protobuf. En la ruta se ingresa el broker, por ejemplo kafka.empresa.com:9092; con Mapear origen puede enlazarse dinámicamente desde otra fuente o variable. Las pestañas de configuración son:
topic (obligatorio para lectura y escucha), partition, offset (desde dónde se lee; si no se define, 0) y key. Cada parámetro puede marcarse como editable para modificarlo en cada ejecución.group, el identificador del grupo de consumidores bajo el cual se confirman los offsets procesados, y offsetReset, que define qué hacer si el offset pedido ya no existe en el tópico: earliest lee desde el comienzo y latest solo los mensajes nuevos.Con Probar se valida la conexión y, en lectura, se traen los mensajes del tópico. Luego, con Continuar, se revisa la respuesta, se completan el título y la descripción y se guarda el origen.
Con el modo Escuchar, la pestaña Escucha habilita la configuración de ejecución:
raw.Las escuchas se activan y desactivan con la publicación y la despublicación del origen: una vez configurada, publique el origen para que empiece a consumir el tópico. Tenga en cuenta que el parámetro offset no se actualiza solo: si la escucha se reinicia y nadie lo cambió, vuelve a leer desde el mismo punto.
El origen de lectura trae los mensajes del tópico al probarlo y queda publicado para usarlo en vistas y métodos. El origen en modo escucha, una vez publicado, ejecuta la vista elegida por cada mensaje nuevo del tópico. En el video, ambos orígenes se crean sobre un clúster de prueba con un tópico de pedidos en formato JSON.
topic, o el offset pedido ya no existe y no hay offsetReset definido.raw, o el modo raw no está marcado.