En el mundo del Big Data, los Filewatchers forman parte del sistema de Talend Open Studio, un software de código abierto que trabaja con el proceso ETL (extract, transform, load).
En este post, te exponemos qué son los Filewatchers como parte de este sistema del universo Big Data.
¿Qué son los Filewatchers?
Los Filewatchers son los tipos de jobs que se encuentran el programa Talend Open Studio.
Dentro de los Filewatchers, las dos opciones de diseño del job que se encuentran son:
- Que el job esté siempre en ejecución esperando a que se introduzca el fichero en la ruta para arrancar el proceso. Utilizaremos un componente de la familia wait for (tWaitForFile, tWaitForSocket, tWaitForSqlData).
- Que el job se ejecute periódicamente de manera programada.
A continuación, te mostramos un ejemplo de cómo funciona el tWaitForFile:
- tWaitForFile: lo podrás utilizar para esperar la llegada de un fichero. A partir de allí, se confirma indicando el directorio que debe escanear, el tiempo en segundo de cada iteración y, si quieres que solo detecte un tipo de fichero, podrás usar la máscara de la opción file mask.
- Al arrancar el job, notarás que el proceso queda latente hasta que dejes un fichero que cumple con las condiciones en el directorio.
¿Cuál es el siguiente paso en Big Data?
Ahora que ya conoces qué son los Filewatchers, es muy importante continuar aprendiendo sobre el desempeño de las alternativas para el manejo del Big Data. ¡Aún queda mucho más por aprender!
En KeepCoding te ofrecemos el Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning, donde podrás instruirte en uno de los grandes retos para los Data Scientists: ser capaces de elegir las características y herramientas adecuadas para solucionar cada problema en la gestión de los macrodatos. En menos de nueve meses podrás convertirte en un experto. ¡Inscríbete ahora!
