Ejemplo de Kafka en GCP con Flume

Autor: | Última modificación: 11 de mayo de 2022 | Tiempo de Lectura: 3 minutos
Temas en este post:

La estrategia de Kafka en GCP con Flume se considera una de las mayores ventajas ofrecidas por la plataforma de streaming opensource Apache Kafka. Este factor promete un desarrollo en la gestión de datos mucho más ágil y preciso en cuanto a la velocidad y sus resultados.

Por esta razón, conocer este tipo de dinámicas entre una serie de servicios populares de Big Data resulta de suma importancia. En este post, te exponemos un ejemplo de cómo funciona Kafka en GCP con Flume.

¿Qué es Apache Kafka?

Apache Kafka es una herramienta de streaming opensource escrita en JAVA y Scala. Kafka te ayudará a controlar una gran cantidad de datos producidos en tiempo real, es decir, así es como se conoce esta herramienta de transmisión de datos o stream de datos.

Es importante que mencionar que, para llevarse a cabo, esta herramienta se abastece de varios componentes sumamente importantes que te exponemos a continuación:

  • Pub/Sub: en una arquitectura de streaming tienes siempre uno o más publishers y uno o más subscribers.
  • Eventos/Mensajes: simplemente información o datos estructurados que se insertan en el sistema a través de topics.
  • Topics: los mensajes de un stream pueden organizarse en topics.
Ejemplo de Kafka en GCP con Flume 1

¿Cómo funciona Kafka en GCP con Flume?

Para explicarte cómo funciona Kafka en GCP con Flume vamos a mostrarte un ejemplo que te facilitará la comprensión del proceso.

En primer lugar, es necesario partir de que esta es una de las grandes ventajas que posee Apache Kafka, puesto que su versatilidad en GCP (Google Cloud Plataform) de mezclarse con Apache Flume es muy útil para el proceso adecuado de la transmisión de los macrodatos.

Pues bien, a continuación te compartimos una breve guía ilustrativa de cómo funciona Kafka en GCP con Flume por medio de un sencillo ejemplo.

Ejemplo de cómo funciona Kafka en GCP con Flume

En primer lugar, deberás crear un clúster sencillo de Dataproc para, a partir de allí, dirigirte a Google Cloud Marketplace y crear una máquina de Kafka (standalone, preferiblemente virtualizada).

A continuación, te mostramos cómo se desarrolla en la plataforma el ejemplo de Kafka en GCP con Flume:

Ejemplo de Kafka en GCP con Flume 2
Ejemplo de Kafka en GCP con Flume 3

Una vez hayas seleccionado Kafka, tendrás que dar clic en la opción de «Ejecutar en Compute Engine» como te mostramos a continuación:

Ejemplo de Kafka en GCP con Flume 4

Después, deberás dar clic en la opción de «Desplegar»:

Ejemplo de Kafka en GCP con Flume 5
Ejemplo de Kafka en GCP con Flume 6

Por último, tendrás que crear esta fusión con Apache Kafka en GCP con Flume y después apuntar su IP. Finalmente, deberás entrar en la instancia de Kafka y ejecutar:

  1. cd /opt/kafka
  2. sudo bin/zookeeper-server-start.sh config/zookeeper.properties &
  3. sudo bin/kafka-server-start.sh config/server.properties &
  4. sudo bin/kafka-topics.sh –create –topic testkafka –bootstrap-server localhost:9092
  5. sudo bin/kafka-console-producer.sh –broker-list localhost:9092 –topic testkafka

¿Cuál es el siguiente paso en el mundo Big Data?

En el desarrollo de este post, has podido identificar qué es Apache Kafka y además, comprender cómo funciona Kafka en GCP con Flume por medio de un ejemplo muy ilustrativo. No obstante, el desarrollo de esta herramienta de transmisión de datos requiere de muchos más conocimientos y desarrollo de sintaxis de consola, puesto que aquí solo te hemos mostrado una pequeña parte de un mundo muy amplio.

Por este motivo, desde KeepCoding te ofrecemos el Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning. En su transcurso, podrás profundizar en tus conocimientos sobre las herramientas, lenguajes y sistemas para el manejo del Big Data. En suma, podrás instruirte en remoto, de la mano de grandes profesionales en el área y con un acceso especial al material extra, los webinars y a los cursos complementarios durante todo el tiempo del bootcamp. En menos de nueve meses te considerarás todo un experto en el procesamiento de los macrodatos. ¡No esperes más para empezar e inscríbete ahora!

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

[email protected]

¿Sabías que hay más de 5.000 vacantes para desarrolladores de Big Data sin cubrir en España? 

En KeepCoding llevamos desde 2012 guiando personas como tú a áreas de alta empleabilidad y alto potencial de crecimiento en IT con formación de máxima calidad.

 

Porque creemos que un buen trabajo es fuente de libertad, independencia, crecimiento y eso ¡cambia historias de vida!


¡Da el primer paso!