Hadoop desde cero

Autor: | Última modificación: 27 de abril de 2022 | Tiempo de Lectura: 3 minutos
Temas en este post:

Con el paso del tiempo, Hadoop se ha ido posicionando en el universo del Big Data como la estructura de software más implementada para la administración de repositorios Data Lakes. Por ello, es imprescindible contar con una guía de Hadoop desde cero, de manera que puedas identificar todo el proceso y desarrollo que se genera de manera interna y externa para lograr un procesamiento de datos acertado.

Tener en cuenta cada uno de sus componentes, la ruta de acción que emplea y su eficiencia al respecto es un estudio inexcusable. Por este motivo, a lo largo de este post te explicaremos cómo funciona Hadoop desde cero.

¿Qué es Hadoop?

En definitiva, Hadoop no es más que una colección de herramientas que posee como software y que se caracterizan por ser de código abierto, aunque podrás encontrar algunas que sean closed source.

Hadoop desde cero 1

¿Cómo funciona Hadoop desde cero?

A continuación, te detallamos cómo utilizar Hadoop desde cero. Como primer paso, deberás instalar y probar HADOOP 2.7, a partir de la siguiente operación:

  • docker ps
  • docker pull sequenceiq/hadoop-docker:2.7.1

Una vez instalado, podrás entrar en acción y poner a prueba tus destrezas.

  • docker run -p 50070:50070 -p 8088:8088 -it sequenceiq/hadoop-docker:2.7.1 /bin/bash -bash

Nota Windows

Si tu sistema es Windows, podría aparecerte una alarma de error como la siguiente:

  • «docker: Error response from daemon: Ports are not available: listen tcp 0.0.0.0:50070: bind: An attempt was made to access a socket in a way forbidden by its access permissions.»
Hadoop desde cero 2

Esto se debe a un tema de seguridad interno de Windows y Hyper-V. No obstante, podrás cambiar los puertos a unos diferentes, como, por ejemplo:

  • docker run -p 20070:50070 -p 2088:8088 -it sequenceiq/hadoop-docker:2.7.1 /bin/bash -bash

Error 139 en Windows

Si ahora te sale este error, quiere decir que se levanta el contenedor. Para derribarlo, deberás ejecutar:

  • docker ps -a

Ahora bien, si notas que tiene marcado el resultado exit (139), es un asunto de configuración de WSL (Windows Subsystem for Linux). Para corregirlo, tendrás que abrir Notepad y escribir en su interior lo siguiente:

  • [wsl2]
  • kernelCommandLine = vsyscall=emulate
  • memory=4GB # Limits VM memory in WSL 2 up to 3GB
  • processors=4 # Makes the WSL 2 VM use two virtual processors

Posteriormente, debes guardar el fichero (ctrl+shift+s) como C://Usuarios/XXXX/.wslconfig (ten en cuenta la extensión, ya que no puede ser .txt). Finalmente, deberás reiniciar Windows y el problema se habrá solucionado.

Continúa con Hadoop desde cero

Ahora, podrás continuar implementando alguno de los comandos Linux con los que trabaja Hadoop, como:

  • ls (list).
  • pwd (print working directory).
  • cat (catenate).
  • tail (tails).
  • mkdir (make subdirectory).

Por otra parte, también podrás buscar la IP del clúster desde el host, gracias a los siguientes comandos:

  • docker network list
  • docker network inspect docker_default

¡Ten en cuenta!

Debes recordar que en Docker Toolbox la IP que ha sido asignada a la VM (Virtual Machine) de docker suele ser distinta. Así que debes confirmar una vez aparezca en un diálogo como el siguiente:

Hadoop desde cero 3

A partir de allí, podrás llevar a cabo toda la estructura de software para la gestión de datos según el interés de tu información y cliente.

Últimas consideraciones

Para finalizar este post sobre Hadoop desde cero, te mencionaremos algunos asuntos fundamentales para tener en cuenta:

  • Hadoop posee una integración con el UNIX: Linux-UNIX.
  • También podrás encontrar con POSIX (Portable Operating System Interface for UNIX).
  • En suma, Hadoop posee una interfaz para operar sobre ficheros llamada HDFS (Hadoop Distributed File System) y, junto a esta capa, encontrarás otros tres componentes importantes: YARN, MapReduce y Common.
Hadoop desde cero 4

¿Cómo continuar aprendiendo sobre Big Data?

En el transcurso de este post, te has enfrentado a cómo se desarrolla Hadoop desde cero y qué involucra cada una de sus funciones, de manera teórica y ejemplificada. Sin embargo, este tipo de conocimientos se completan una vez se cumple con el carácter práctico que exige su naturaleza. ¡Pero no te desmotives!

Desde KeepCoding, te aconsejamos nuestro Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning. Gracias a este, aprenderás lo que todo buen Data Scientist tiene saber para destacar dentro del sector tecnológico. Te formaremos en herramientas y lenguajes imprescindibles, así como te daremos una buena base de estadística, álgebra, cálculo y geometría, que también son imprescindibles. Además, durante todo el tiempo que estás en el Bootcamp, en exclusiva, podrás acceder sin ningún límite a nuestros webinars, cursos y materiales extra en nuestra plataforma online. ¡Échale un vistazo a nuestro temario e inscríbete pronto!

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

[email protected]