¿Cómo se crea un nuevo Datanode en Hadoop?

Autor: | Última modificación: 9 de mayo de 2022 | Tiempo de Lectura: 2 minutos
Temas en este post:

Durante el desarrollo del Big Data y sus herramientas, podrás encontrar la biblioteca de software Hadoop como una de las más populares e implementadas para el procesamiento de los macrodatos. Por esta razón, contar con un conocimiento básico sobre sus herramientas, como el Datanode en Hadoop, se establece como un deber dentro de este mundo. Conocer cómo se emplean los nodos en Hadoop es esencial para comprender cómo funciona.

Por esto, saber qué es un Datanode en Hadoop es muy importante, ya que gracias a este se derivan algunas funciones principales de esta biblioteca de software. Es por este motivo que, a continuación, te explicamos qué es y cómo se crea un nuevo Datanode en Hadoop.

¿Cómo se crea un nuevo Datanode en Hadoop?

Para llevar a cabo la creación de un nuevo Datanode en Hadoop es necesario comprender que este es una ventaja para el procesamiento de datos que se encuentra desarrollando en la biblioteca de software.

Ahora, para lograr meter un nuevo Datanode al clúster y poder simular un crecimiento de poder de procesamiento, deberás contar Docker.

Para este proceso debes aprovechar docker-compose scale, ya que te permite replicar contenedores con gran facilidad.

Una vez se haya cumplido con las demás tareas, podrás agregar un nuevo nodo de trabajo:

  • docker-compose scale worker=2

Si, por alguna razón, el comando anterior falla, entonces tendrás que lanzar:

  • docker-compose up –scale worker=2 -d

¿Crear automáticamente un nuevo Datanode en Hadoop?

Evidentemente, sería posible automatizar el provisionamiento de un nuevo Datanode; sin embargo, como la idea es entender lo que sucede en la estructura interna, resulta más adecuado hacerlo de manera manual.

Manzana, Macbook, Computadora Portátil, Computadora

Como ya sabrás, el clúster puede utilizarse desde cualquier nodo para la mayoría de tareas que desempeña. No obstante, para provisionar un nuevo Datanode es necesario hacer varias operaciones, como:

  • Ejecutar ./sbin/stop-dfs.sh en el Slave que se ha creado recientemente y verificar la conectividad.
  • Después, cambiar el fichero etc/hadoop/slaves en el master, de forma que puedas añadir el nuevo hostname del Slave que has debido realizar en la escala.

Finalmente, solo deberás rectificar que el Datanode se haya generado efectivamente, ¡y ya está!

¿Cómo continuar aprendiendo Big Data?

En el desarrollo de este post, te has familiarizado con cómo se crea un nuevo Datanode en Hadoop. No obstante, esta pequeña guía no consigue abarcar todas las posibilidades y herramientas que ofrece la biblioteca de software Hadoop, por lo que resulta necesario que sigas instruyéndote en esta herramienta. Principalmente, porque Hadoop es una de las herramientas predilectas y más populares en el mundo del Big Data.

Si planeas ser todo un experto en los principales sistemas y lenguajes del universo Big Data, desde KeepCoding te traemos nuestro Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning. Durante un período de menos de nueve meses, podrás poner a prueba tus destrezas de la mano de profesionales gracias a nuestra metodología «hands on», a partir de la que podrás contar con el aprendizaje teórico y práctico. ¡No esperes más para seguir aprendiendo sobre el Big Data!

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

[email protected]

¿Sabías que hay más de 5.000 vacantes para desarrolladores de Big Data sin cubrir en España? 

En KeepCoding llevamos desde 2012 guiando personas como tú a áreas de alta empleabilidad y alto potencial de crecimiento en IT con formación de máxima calidad.

 

Porque creemos que un buen trabajo es fuente de libertad, independencia, crecimiento y eso ¡cambia historias de vida!


¡Da el primer paso!