¿Cómo funciona Spark Core?

Autor: | Última modificación: 8 de junio de 2022 | Tiempo de Lectura: 3 minutos
Temas en este post:

Spark Core es uno de los componentes que pertenece a la arquitectura del sistema de computación más popular del mundo Big Data, Apache Spark. De hecho, es el corazón de Spark, por lo que conocer cómo funciona Spark Core y cómo influye en la gestión de datos en este sistema es de suma importancia.

Por ello, en este post, te traemos toda la información que necesitas para saber cómo funciona Spark Core dentro de la arquitectura de Apache Spark.

¿Qué es Spark Core?

Corazón de Spark, en español, es la API (Interfaz de aplicación) para el procesamiento en batch. Dicha API es la base para la construcción de todas las APIs y contiene la base de gestiones de los recursos, los clústeres y la interacción con los datos.

¿Cómo funciona Spark Core?

En cuanto a cómo funciona Spark Core, este desenvolvimiento se presenta a partir de unos fundamentos específicos. A continuación, te compartimos cuáles son estos procesos por medio de los que se desarrolla Spark Core:

Base Project

Para empezar un proyecto de Spark, necesitas añadir sus dependencias en el proyecto de SBT en el IDE.

libraryDependencies += «org.apache.spark» %%
«spark-core» % «3.0.0»

Una vez tengas las dependencias, entonces podrás crear un objeto principal con un
método main, en el que crearás un nuevo contexto de Spark. A partir de este punto, podrás ejecutar en el play del IDE y ejecutar Spark en modo local, usando la CPU de la máquina.

A continuación, puedes analizar un breve ejemplo:

6 fundamentos de Spark Stack 1

Spark-Shell

Por otra parte, Spark-Shell es necesario, puesto que la distribución de Spark contiene un
binario spark-shell.
De manera que este proporciona una PERL interactiva para trabajar con Apache Spark.

Ejecutar la shell es muy sencillo. En primer lugar, este arranca un clúster de Apache Spark en modo local usando cada uno de los cores disponibles de la máquina. A partir de allí, iniciará un sparkContext en la variable sc, como te mostramos ahora:

¿Cómo funciona Spark Core? 1

En suma, Spark-shell también te permite añadir ficheros jars de librería o de tu propio código fuente. Además, podrás descargar librerías externas usando maven. Su desarrollo sintáctico sería de la siguiente forma:

¿Cómo funciona Spark Core? 2

Parallelize

En cuanto a la función de Parallelize, Apache Spark permite distribuir datos a través del clúster y directamente desde el driver.

¿Cómo funciona Spark Core? 3

Así, los datos son distribuido en el clúster por particiones. De esta forma, Apache Spark decide cuántas particiones crea para cada una de las distribucione de datos. Esto lo logra basándose en el número de cores del clúster.

A pesar de ello, también podrás indicar específicamente el número de particiones que quieres en el procesamiento de los datos de esta forma:

¿Cómo funciona Spark Core? 4

Posteriormente, podrás comprobar el número de particiones de los datos como se muestra a continuación:

distData.partitions.size
distData20.partitions.size

Por último, también podrás mostrar la distribución de los datos por partición con el siguiente comando:

distData.foreachPartition(x => println(x.mkString(«,»)))

textFile/wholeTextFiles

Como último elemento de Spark Core, este posee las funciones de textFile/wholeTextFiles, lo que permite que:

  • Apache Spark cree dataset desde cualquier almacenamiento soportado por Hadoop, ya sea desde el Sistema local de ficheros, HDFS, Cassandra, Hbase, Amazon S3, Google Storage, Azure File System, etc.
  • Spark soporte ficheros de texto, secuencias y cualquier formato soportado por Hadoop InputFormat.
  • Ls ficheros puedan leerse con el uso del SparkContext.

Sigue aprendiendo Big Data

Este proceso de aprendizaje depende del desarrollo práctico que lleves a cabo según el interés y propósito del procesamiento de los macrodatos. De manera que, aunque ya sabes qué es Spark Core, ¡aún queda mucho por aprender!

Por ello, desde KeepCoding te ofrecemos el Full Stack Big Data, Inteligencia Artificial & Machine Learning Bootcamp. En el transcurso del mismo, podrás aprenderlo todo sobre las herramientas Big Data. De hecho, conocerás, de forma teórica y práctica, las herramientas de regresión lineal y logística, los modelos lineales generalizados, el aprendizaje no supervisado, el clustering, los métodos jerárquicos y no jerárquicos… ¡Inscríbete y en menos de nueve meses serás un experto en el sector!

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

[email protected]

¿Sabías que hay más de 5.000 vacantes para desarrolladores de Big Data sin cubrir en España? 

En KeepCoding llevamos desde 2012 guiando personas como tú a áreas de alta empleabilidad y alto potencial de crecimiento en IT con formación de máxima calidad.

 

Porque creemos que un buen trabajo es fuente de libertad, independencia, crecimiento y eso ¡cambia historias de vida!


¡Da el primer paso!