La evolución que ha presentado el mundo del Big Data consigue que aumente la necesidad de aprender sobre las herramientas que se encargan del manejo de los macrodatos. Por ello, identificar cuáles son los tipos de directorios en Hadoop es muy importante, gracias al reconocimiento del software empleado por Hadoop.
La implementación de estas herramientas deriva en una mayor efectividad durante el estudio de los datos y en los resultados arrojados. Por esta razón, en este post te compartimos cuáles son los tipos de directorios en Hadoop.
¿Qué son los directorios en Hadoop?
Los directorios en Hadoop son una serie de contenedores que agrupan los ficheros de configuración más importantes en la biblioteca de software Hadoop. Como sabrás, Hadoop es un sistema distribuido de almacenamiento de ficheros, de manera que los directorios no son más que la organización jerárquica de dichos ficheros.
Por tanto, los directorios son muy importantes para configurar Hadoop como un clúster.
En efecto, es de suma importancia reconocer los principales ficheros, que son los siguientes:
- core-site.xml
- yarn-site.xml
- slaves
Cada uno de ellos desarrolla funciones primordiales en la estructura de Hadoop y se encuentran dentro de los directorios de ficheros que ofrece esta biblioteca de software.
Por otra parte, los directorios se manipulan por medio del componente NameNode, ya que se encarga de gestionar la distribución de estos y sus determinados ficheros.
¿Cuáles son los tipos de directorios en Hadoop?
Pues bien, el directorio de archivos de configuración de Hadoop suele estar ubicado en /usr/local/hadoop/etc/hadoop. Allí, podrás encontrar todos los directorios y ficheros necesarios para llevar a cabo la administración de un clúster de Hadoop.
Ahora, te compartimos cuáles son los principales directorios de este sistema de archivos distribuidos y, brevemente, a qué se dedica cada uno de ellos:
Directorio sbin
Este primer directorio contiene los ejecutables de arranque y de la administración de los componentes. De forma que este directorio te aparecerá cada vez que ejecutes un jps. en Hadoop. Es de vital importancia, porque ayuda a la implantación del directorio usr.
Directorio usr
Por medio del directorio sbin, estos directorios en Hadoop facilitan el restablecimiento del sistema a través de sus ejecutables. Por otra parte, el directorio usr se conoce por aportar un entorno común entre los programas y el acceso de los usuarios a este.
Directorio bin
El directorio bin consta de los ejecutables de los principales servicios de Hadoop, es decir, YARN (Yet Another Resource Negociator), MapReduce, HDFS (Hadoop Distributed File System), etc. Lo que significa que es uno de los directorios principales gracias a su gestión relacionada con los componentes básicos de Hadoop.
Este tipo de directorio se basa en mantener la documentación y ejemplos que son compartibles entre las máquinas. De manera que aquí se suelen cargar los .jar cuando se lanzan.
Directorio etc
Este es uno de los directorios en Hadoop más importantes, puesto que contiene la mayoría de ficheros de configuración, especialmente los ubicados dentro de Hadoop, aunque también gestiona los archivos de configuración para los programas y aplicaciones que se instauran.
¿Cuál es el siguiente paso?
En este post, te hemos explicado cuáles son los tipos de directorios en Hadoop y cómo funciona cada uno de ellos para cumplir con su papel efectivo dentro del mundo Big Data. Por otra parte, habrás notado que cada uno de ellos se fundamenta en el desarrollo práctico en la estructura interna de Hadoop. Por ello, desde KeepCoding te recomendamos complementar la información que te brindamos con la práctica.
Para ello, te ofrecemos el Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning con el propósito de ayudarte en este proceso de aprendizaje del manejo de los macrodatos. Por medio de este bootcamp, podrás aprenderlo todo sobre los principales sistemas y lenguajes de programación que se encargan del procesamiento de un gran volumen de datos. Además, podrás estudiar acompañado de grandes profesionales para convertirte en todo un experto en el área. ¡Apúntate ahora!
