¿Qué son los Executors en Spark?

Autor: | Última modificación: 15 de junio de 2022 | Tiempo de Lectura: 3 minutos
Temas en este post:

Algunos de nuestros reconocimientos:

Premios KeepCoding

Los executors en Spark son una herramienta que cada vez destaca más en el área de los macrodatos, de manera que conocer cómo funciona y para qué sirve es igual de importante. Si planeas convertirte en todo un data scientist, es necesario que te acerques a las principales herramientas del Big Data para poder escoger la más adecuada para el procesamiento de los datos.

Por esta razón, saber como funciona un sistema de computación tan importante como Apache Spark resulta más que necesario, así como conocer desde lo teórico a lo práctico cómo funciona un componente tan relevante como son los executors en Spark.

Por ello, en el desarrollo de este post, te traemos toda la información necesaria sobre los executors en Spark.

¿Qué es Apache Spark?

Antes de abordar qué son los executors en Spark, debes recordar que este último es un sistema de computación basado en Hadoop Map Reduce. Este sistema consiste en permitir dividir y paralelizar los jobs, de manera que trabajan con datos de forma distribuida.

Por otra parte, uno de los aspectos más importantes referente a Apache Spark es que proporciona distintas APIs (Interfaz de programación de aplicaciones) para funcionar, como son Core, SQL, Streaming, Graph y Machine Learning. De igual forma, Spark es un multilenguaje que se puede desarrollar en sistemas como Scala, Java, Lenguaje JVM (Máquina virtual Java), Python y R.

¿Qué son los Executors en Spark?

¿Qué son los executors en Spark?

Los executors en Spark hacen referencia al proceso en el que estos realizan la carga de trabajo. De manera que los executors obtienen sus tareas desde el driver y llevan a cabo la carga, la transformación y el almacenamiento de los datos.

Por otra parte, los nodos ejecutores o executors en Spark pasan sus tareas al nodo trabajador o Worker Node, de manera que estas máquinas, que dependen del backend, se encargan de ejecutar los procesos de los executors.

Los executors se encuentran en este nodo trabajador (Worker Node) y se responsabilizan de las tareas de aplicación a realizar.

Por otra parte, podrás utilizar ciertos parámetros para la configuración del sistema de cómputo Apache Spark. A continuación, te compartimos los tres parámetros de executors en Spark que puedes encontrar:

  • spark.executor.instances: estos hacen referencia a los ejecutores con el valor mínimo de dos en el escalado automático.
  • spark.executor.cores: este parámetro se refiere a que un ejecutor puede llegar a desarrollar hasta cinco tareas de forma simultánea.
  • spark.executor.memory: este último parámetro se encarga, como su propio nombre indica, de la memoria que manejan los ejecutores durante la implementación del YARN (Yet Another Resource Negociator).

En definitiva, un ejecutor dentro de Apache Spark es uno de los componentes principales que encuentras en el clúster de este sistema. Además, puede considerarse una JVM (Java Virtual Machine O Máquina Virtual Java).

Conoce más sobre el procesamiento Big Data

En el desarrollo de este post, te hemos expuesto cómo funcionan los executors en Spark, el popular sistema de computación Big Data. Aun así, esta herramienta se encuentra dentro de un amplio contexto de herramientas y servicios ofrecidos por Apache Spark, de manera que te aconsejamos estudiar mucho más para poder dominarlo.

Para ello, desde KeepCoding te ofrecemos nuestro Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning. Allí aprenderás todo lo necesario sobre el entorno de programación mientras trabajas con Apache Spark a partir de la base (procesos de información textual), conteo de palabras, listas top N, operaciones con conjuntos… En suma, aprenderás sobre fuentes de datos múltiples, visualización de relaciones entre valores numéricos (diagramas de dispersión, regresión y clustering), de tipos de datos específicos, como geográficos o mapas de calor, etc. ¡Apúntate ahora y no esperes más para empezar!

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

¡CONVOCATORIA ABIERTA!

Big Data, IA & Machine Learning

Full Stack Bootcamp

Clases en Directo | Profesores en Activo | Temario 100% actualizado