¿Qué es Spark Structured Streaming?

Autor: | Última modificación: 8 de junio de 2022 | Tiempo de Lectura: 3 minutos
Temas en este post:

Spark Structured Streaming es uno de los fundamentos de Spark Stack, una de las partes más importantes de la arquitectura del sistema de computación Apache Spark. Por ello, si planeas conocer cómo funciona el procesamiento de los datos en este sistema desde su desarrollo interno, debes identificar sus principales funciones y características.

Desde KeepCoding comprendemos la importancia de conocer todo sobre uno de los sistemas de computación más reconocidos en el mundo Big Data, como lo es Apache Spark. Por ello, en este post, te exponemos qué es Spark Structured Streaming.

¿Qué es Spark Structured Streaming?

Spark Structured Streaming es un motor de streaming processing construido sobre el motor de SparkSQL. Su principal fin radica en que permite expresar el procesamiento en streaming, al igual que se logra con el procesamiento en batch.

Por otra parte, dentro de su desenvolvimiento dentro de la arquitectura de Spark Stack podrás encontrar las siguientes características y funciones de Spark Structured Streaming:

  • El sistema da garantías de procesamiento end-to-end exactly-once con tolerancia a fallos utilizando mecanismos de checkpointin.
  • Structured Streaming proporciona un sistema de procesamiento en stream rápido, escalable, tolerante a los fallos y con garantías de exactly-one, sin que el usuario tenga que saber que se encuentra trabajando sobre un stream de datos.
  • Los datos se procesan usando un motor de procesamiento en micro-batch: procesa pequeños lotes de datos, con latencias end-to-end de 100 milisegundos y proporcionando garantías exactly-one.
  • Spark2.3 añade un modo llamado Continuos Processing, permitiendo latencias de un milisegundo y proporcionando garantías atleast-once.
¿Qué es Spark Structured Streaming? 1

Spark Structured Streaming: Concepts

Hace referencia a una query en la entrada que generará la tabla de resultados. De manera que, cada vez que se dispara el trigger (1 sec), nuevas rows se añaden a la tabla de Input. Eventualmente se va generando la tabla de resultados.

¿Qué es Spark Structured Streaming? 2


Por otra parte, cuando la tabla de resultados se actualice, podrás enviar estos datos a un almacenamiento externo. Dicha salida puede definirse en distintos modos, que te exponemos a continuación:

  • Complete Mode: se envía toda la tabla de resultados al completo.
  • Append Mode: únicamente se envían las rows nuevas añadidas desde el ultimo trigger. Así, se asume que las rows antiguas no se van a modificar.
  • Update Mode: se envían todas las rows que hayan tenido alguna modificación desde el último trigger.

Por ejemplo

¿Qué es Spark Structured Streaming? 3

import org.apache.spark.sql.functions._
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder
.appName(«StructuredNetworkWordCount»).getOrCreate()
import spark.implicits._
val lines = spark.readStream
.format(«socket»)
.option(«host», «localhost»)
.option(«port», 9999)
.load()
val query = lines.as[String]
.flatMap(_.split(» «))
.groupBy(«value»)
.count()
.writeStream
.outputMode(«complete»)
.format(«console»)
start()
query.awaitTermination()

Spark Structured Streaming: Windows

Agrega los datos en una ventana de 10 minutos que se desliza cada 5 minutos, de manera que el resultado de las tablas se envía en base al modo que se utilice.

¿Qué es Spark Structured Streaming? 4

Por otra parte, en ocasiones se pueden recibir datos antiguos y también puede mantener en memoria un estado parcial de las agregaciones durante un gran periodo de tiempo, por lo que se puede agregar eventos que llegan con retrasos.

Existe un límite

Ejecutar esta consulta durante días puede alcanzar el límite de los datos que se pueden
almacenar.
Por ello, el sistema necesita saber cuándo puede descartar datos antiguos, watermarking.

¿Qué es Spark Structured Streaming? 5

Condiciones

  1. Modo Append/Update.
  2. Agregación con tiempo o usando window.
  3. withWatermark, utilizado en la misma columna de tiempo que la agregación.
  4. Configurar el withWatermark antes que la agregación.

Spark Structured Streaming: Joins

Por último, Structured Streaming soporta hacer joins con dataset estáticos y con otros streams como:

  • Stream-Static: no necesita mantener el estado. El stream de datos hace join con el dataset
    estático
    previamente cargado en memoria.
  • Stream-Stream: necesita mantener el estado de los streams para asegurar que eventos
    que llegan en diferentes momentos en el tiempo hagan join.

Continúa aprendiendo sobre Big Data

En el desarrollo de este post, te hemos expuesto lo que es Spark Structured Streaming como parte de la arquitectura del sistema de computación Apache Spark. A pesar de ello, el mundo del procesamiento Big Data es sumamente amplio, por lo que te recomendamos continuar aprendiendo sobre este ámbito del sector IT si buscas convertirte en un experto en este campo.

Por este motivo, desde KeepCodging te presentamos el Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp, por medio del que podrás aprender mucho más sobre este servicio y, en general, sobre los sistemas y herramientas más importantes en el mundo del Big Data. Así, de la mano de profesionales y en menos de nueve meses, te convertirás en todo un experto y podrás conocer e identificar las alternativas de gestión de datos más apropiadas para los estudios de los macrodatos. ¡No esperes más para empezar e inscríbete!

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

[email protected]

¿Sabías que hay más de 5.000 vacantes para desarrolladores de Big Data sin cubrir en España? 

En KeepCoding llevamos desde 2012 guiando personas como tú a áreas de alta empleabilidad y alto potencial de crecimiento en IT con formación de máxima calidad.

 

Porque creemos que un buen trabajo es fuente de libertad, independencia, crecimiento y eso ¡cambia historias de vida!


¡Da el primer paso!