Si estás aprendiendo sobre la estructura de software Hadoop o quieres saber más sobre los distintos softwares dentro del mundo Big Data, es imprescindible que comprendas cómo funcionan las colas de YARN. Esta herramienta cada día destaca más por las tareas que desarrolla y en este post te ayudaremos a comprender su funcionamiento.
YARN destaca por las operaciones que instaura en el procesamiento y almacenamiento de los datos dentro de Hadoop. En efecto, este componente es una parte fundamental del desarrollo de Hadoop. Por ello, en este post, te explicamos y ejemplificamos qué son y cómo funcionan las colas de YARN.
¿Cómo funciona YARN?
YARN (Yet Another Resource Negotiator), que en español traduce “otro negociador de recursos más“, funciona como una de las capas de control que se instaura sobre las aplicaciones o comandos que corren sobre Hadoop.
A pesar de ser una capa de bajo nivel con lenguaje de programación JAVA, desarrolla sus funciones con excelencia, aunque de la mano de MapReduce y HDFS (Hadoop Distributed File System).
En suma, el principal objetivo de YARN radica en la gestión de la capa de cómputo del clúster de Hadoop. Para lograrlo, se conforma gracias a dos elementos: por un lado, un administrador de recursos y, por otra parte, un administrador de nodos.
¿Qué son las colas de YARN?
Las colas de YARN hacen referencia a la forma en la que se acumulan las peticiones de búsqueda creadas por el usuario. Es decir, su nombre expresa a la perfección cómo funciona.
La cuestión que define estas colas de YARN consta del orden de llegada, la cantidad de recursos y cómo estos se administran al estudio de datos.
Debido a que esta es una sus principales funciones, a continuación te compartimos una guía para administrarlas:
- En primer lugar, debes empezar por tener Hadoop en Docker, puesto que este automatizará el desarrollo de las aplicaciones en Hadoop. Si aún no lo tienes, también podrás establecerlo así:
docker run -p 50070:50070 -p 8088:8088 -it sequenceiq/hadoop-docker:2.7.1 /bin/bash -bash
- Ahora, ten en cuenta que siempre entrarás en el directorio de instalación de Hadoop de la VM (Virtual Machine) de la siguiente manera:
cd $HADOOP_PREFIX
- A continuación, podrás ejecutar los jobs de MapReduce con YARN bin o Hadoop bin:
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 10 10
- Ahora, podrás ver lista de jobs en ejecución así: job -list. Si, por el contrario, necesitas matar un job, la operación es: application -kill XXXAPPIDXXX
Ahora bien, una vez hayas instaurado esta sintaxis de comandos en la consola, podrás acceder a los datos con la posibilidad de:
- Ver el historial.
- Matar applications según sea apropiado.
- Ver detalles de aplicaciones para potenciarlas.
Profundiza tus conocimientos del Big Data
Ahora que sabes qué son las colas de YARN y cómo funcionan dentro del sistema de Hadoop podrás practicar por medio del método de ensayo y error hasta que profundices lo suficiente sobre el manejo de los macrodatos a través de estas herramientas. Sin embargo, en KeepCoding somos conscientes de lo complicado que puede llegar a ser. ¡No te preocupes!
Nuestro Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning te ayudará a implementar estos sistemas y muchos más. Por medio de 11 módulos conocerás y practicarás con todos los lenguajes y sistemas más importantes para la manipulación de los macrodatos. Además, gracias a nuestra propia metodología de “hands on” siempre llevarás los conceptos teóricos a la práctica efectiva. ¡Apúntate ya!
