Orígenes de datos: Kafka

Orígenes de datos: Kafka

Resumen

El origen de datos desde Kafka permite integrar la plataforma con un clúster Apache Kafka, habilitando la interacción con sus tópicos. Es uno de los tipos de origen disponibles al crear un nuevo origen de datos, con la opción Desde cola de tareas y la pestaña Kafka. La plataforma puede operar como consumidor (Lectura), como productor (Escritura) o como Escucha (listener), que consume los mensajes de un tópico y despacha cada uno hacia una vista de datos. En este video ve cómo crear un origen de lectura, probarlo y guardarlo, y cómo configurar un origen en modo escucha.

Antes de comenzar

  • Necesita la dirección del broker (host y puerto), el nombre del tópico y, si el clúster lo exige, las credenciales o el token de acceso.
  • Para una escucha, la vista de datos que procesará cada mensaje debe existir y estar publicada, con un parámetro que reciba el mensaje.

Modos de operación

Junto al botón Probar se elige el modo:

  • Lectura: la plataforma actúa como consumidor y lee los mensajes existentes en el tópico.
  • Escritura: actúa como productor y envía mensajes al tópico. El cuerpo del mensaje se define en la pestaña Mensajes, con la opción de mapearlo a datos dinámicos.
  • Escuchar: se suscribe al tópico y, por cada mensaje recibido, ejecuta la vista o el pipeline configurado en la pestaña Escucha.

Configuración de la solicitud

El formato del mensaje puede ser JSON o Protobuf. En la ruta se ingresa el broker, por ejemplo kafka.empresa.com:9092; con Mapear origen puede enlazarse dinámicamente desde otra fuente o variable. Las pestañas de configuración son:

  • Autorización: sin autorización, Basic Auth (usuario y contraseña, con el mecanismo que use el broker: PLAIN, SCRAM-SHA-256 o SCRAM-SHA-512) o Bearer Token. También puede habilitarse el certificado SSL.
  • Cabeceras: cabeceras adicionales de la conexión.
  • Parámetros: topic (obligatorio para lectura y escucha), partition, offset (desde dónde se lee; si no se define, 0) y key. Cada parámetro puede marcarse como editable para modificarlo en cada ejecución.
  • Propiedades de la conexión: group, el identificador del grupo de consumidores bajo el cual se confirman los offsets procesados, y offsetReset, que define qué hacer si el offset pedido ya no existe en el tópico: earliest lee desde el comienzo y latest solo los mensajes nuevos.
  • Mensajes: el cuerpo a enviar, en modo escritura.
  • Escucha: la configuración del modo escucha.

Con Probar se valida la conexión y, en lectura, se traen los mensajes del tópico. Luego, con Continuar, se revisa la respuesta, se completan el título y la descripción y se guarda el origen.

Configurar una escucha

Con el modo Escuchar, la pestaña Escucha habilita la configuración de ejecución:

  • Selección de recurso: la vista de datos o el pipeline que procesa cada mensaje.
  • Parámetros de la vista: en el parámetro que recibe el mensaje se indica la palabra reservada raw.
  • Modo raw: al marcarlo, el contenido leído de Kafka se envía a la vista sin transformaciones.
  • Reintentar en caso de fallo: la política a aplicar si la ejecución de la vista falla.
  • Paralelismo: cantidad de ejecuciones simultáneas, según el volumen de mensajes esperado.

Las escuchas se activan y desactivan con la publicación y la despublicación del origen: una vez configurada, publique el origen para que empiece a consumir el tópico. Tenga en cuenta que el parámetro offset no se actualiza solo: si la escucha se reinicia y nadie lo cambió, vuelve a leer desde el mismo punto.

Resultado esperado

El origen de lectura trae los mensajes del tópico al probarlo y queda publicado para usarlo en vistas y métodos. El origen en modo escucha, una vez publicado, ejecuta la vista elegida por cada mensaje nuevo del tópico. En el video, ambos orígenes se crean sobre un clúster de prueba con un tópico de pedidos en formato JSON.

Errores frecuentes

  • Probar falla sin conexión: el broker no es alcanzable desde la plataforma o la autorización no coincide con la del clúster.
  • Probar no devuelve mensajes: falta el parámetro topic, o el offset pedido ya no existe y no hay offsetReset definido.
  • La escucha no procesa nada: el origen no está publicado, la vista no tiene el parámetro con el valor raw, o el modo raw no está marcado.

Artículos relacionados