Podcast - Stream Processing en Kafka: qué es y qué necesidades cubre

El concepto de stream processing está basado en la idea de procesar los datos de forma contínua. Esto quiere decir que, en cuanto los datos estén disponibles, deben de ser procesados de manera secuencial.

Para esto se usan flujos de datos infinitos sin límites de tiempo y por eso este concepto está íntimamente ligado a tecnologías como puede ser Apache Kafka.

Actualmente hay una gran demanda de servicios en tiempo real y para ello es necesario usar estos mecanismos de procesamiento de datos. Con estas técnicas logramos un objetivo importante: obtener valor de toda esta información que se va a procesar en tiempo real de una manera más rápida de lo que lo hacíamos antiguamente.

Obviamente, hay que tener en cuenta algunos puntos importantes a la hora de implementar una solución de este tipo, como pueden ser los picos de carga, las latencias que podemos tener de extremo a extremo, o la garantía de entrega de los mensajes para el correcto funcionamiento de la solución.

Centrándonos ya en el ecosistema Kafka, hay una corriente o movimiento que ha puesto foco a desarrollar tecnologías alrededor del núcleo de Apache Kafka, básicamente para que permita cubrir esta necesidad de reaccionar a los eventos e implementar soluciones de streaming.

Todo lo anterior, unido al éxito que ha tenido la tecnología por sí sola, ha provocado que dejemos de ver Apache Kafka como una simple cola de mensajería y a verlo como una plataforma de streaming que puede llegar a ser muy completa.

Tecnologías para desarrollar este concepto hay muchas. En este podcast nos vamos a centrar en la parte de Apache Kafka ligado a la distribución de Confluent, como pueden ser Kafka Streams o ksqlDB.

De todo esto nos va a hablar más en detalle Sergio Durán, responsable de Solutions Engineering en España y Portugal, y miembro del equipo de Confluent, junto a nuestro compañero Jesús Pau, arquitecto de software en Paradigma.

Bonus: más podcast sobre Kafka

Si te interesa este tipo de tecnología, tenemos más podcast que pueden ser de tu interés. ¡No te los pierdas!

¿Dónde puedes escuchar nuestros capítulos?

Puedes escucharlos en las principales plataformas de podcast: Ivoox, Spotify, YouTube, Google Podcast, Apple Podcast y Amazon Music.

¡Suscríbete a nuestros canales para no perderte nada!