¿Qué es el terminal por container Slave?

Autor: | Última modificación: 3 de mayo de 2022 | Tiempo de Lectura: 3 minutos
Temas en este post:

Si planeas convertirte en un experto del Big Data y te encuentras aquí para optimizar tus conocimientos al respecto, ¡estás en el lugar adecuado! Desde KeepCoding te compartiremos cómo funciona una de sus herramientas más utilizadas dentro de Hadoop: el terminal por container Slave.

Conocer cada uno de estos procesos para un análisis efectivo de los macrodatos se ha convertido en algo esencial y ventajoso para quien esté interesado en el universo del Big Data. Por esta razón, a continuación te explicamos qué es el terminal por container Slave y cómo funciona para el manejo de datos.

¿Qué es el terminal por container Slave?

Como primer acercamiento al terminal por container Slave o esclavo (en español), resulta necesario aclarar que se refiere a la instancia en la que llegan los datos que se van procesando en el container Master. Estos dos espacios trabajan de la mano; de hecho, el container Slave es un trabajador del Master, puesto que este último se encarga de administrar los nodos que posee el terminal por container Slave.

En la siguiente imagen se muestra cómo funciona internamente:

¿Qué es el terminal por container Slave? 1

Por otra parte, los nodos slave se nombran con una numeración secuencial, como se muestra a continuación:

¿Qué es el terminal por container Slave? 2

Ejemplo del terminal de container Slave

Para ejecutar un terminal de container Slave, deberás aplicar el siguiente comando:

  • docker exec -it cluster_worker_1 /bin/bash

Ten en cuenta que este comando de Hadoop de Docker no arranca ningún servicio de manera automática, pero sí logra rellenar los archivos de configuración automáticamente utilizando variables de entorno.

Las variables de entorno se utilizan para configurar las máquinas esclavo. Con esta línea de código del docker-compose se indica de la siguiente forma:

¿Qué es el terminal por container Slave? 3

Posteriormente, podrás verificar en el Master y en Slave que se encuentran los ficheros de configuración correctos con el siguiente comando:

¿Qué es el terminal por container Slave? 4

Por último, lo único que queda es mandarle a la máquina Master cuáles son los hostnames de las instancias que puede usar como parte del clúster.

Para ello, deberás editar el archivo Slave del directorio de configuración de Hadoop. De esta manera, simplemente tendrás que añadir los hostnames del Master y el de uno de los nodos esclavos, como te mostramos a continuación:

¿Qué es el terminal por container Slave? 5

Como aclaración, las xxxxx corresponden a cada container ID de cada uno de los workers generado por Docker.

Problemas comunes al ejecutarse

Es posible que, por alguna razón, no encuentres los DataNodes activos en el Dashboard de HDFS. La plataforma se vería así:

¿Qué es el terminal por container Slave? 6

En este caso, deberás ejecutar lo siguiente en cada Slave o Datanode:

  • $HADOOP_PREFIX/sbin/stop-all.sh
  • rm -rf /tmp/hadoop-root/*
  • $HADOOP_PREFIX/bin/hdfs namenode -format

De esta manera, te asegurarás de que los DataNodes no tienen configuraciones corruptas de ninguna naturaleza ni aplicaciones de Hadoop ejecutándose.

Finalmente, como última precaución para asegurarlo, puedes hacer lo siguiente en el Master:

  • ./sbin/stop-all.sh
  • ./sbin/start-all.sh

Aprende más del Big Data

Por medio de este post, te hemos acercado a lo que es el terminal por container Slave y cómo funciona dentro del mundo Big Data. A pesar de ello, el terminal por container Slave trabaja de la mano con el terminal de por container Master, por lo que te recomendamos tener ambas herramientas en cuenta una vez pienses en implementarlo.

Para aprender más sobre el Big Data y sus herramientas, desde KeepCoding te recomendamos nuestro Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning. Gracias a este bootcamp, aprenderás a dominar los conocimientos necesarios para implantar cualquier arquitectura y para la realización de los desarrollos necesarios, tanto técnicos como analíticos, dentro del mundo del Big Data de la mano de grandes profesionales y expertos en la materia. ¡Échale un vistazo a nuestro temario e inscríbete ya!

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

[email protected]