¿Sabes qué función cumple el deep learning en NLP? En este artículo te contamos algunas de las cosas que puedes hacer con el Natural Language Processing y que forman parte de los procedimientos relacionados con el deep learning.
Deep learning en NLP
¿Por qué utilizamos deep learning en NLP?
¿Cuál es la necesidad que se pretende cubrir o por qué aplicamos deep learning en NLP? Estas son algunas de las preguntas que pueden surgir a la hora de trabajar en esta área. Hemos visto que hay procesamientos que, con módulos simples, nos dan buen rendimiento. Si bien podríamos pensar que esto es suficiente, en realidad solo es cierto si tenemos cantidades de datos manejables. En la vida real no funciona así, ya que cada vez tenemos más cantidad de datos y cada vez son más complejos, por tanto, la necesidad de entender cada palabra a partir de lo entendido en palabras previas se vuelve un problema digno de resolver.
La respuesta a todos estos problemas que se puedan presentar es el deep learning en NLP. Uno de los problemas que existía con los modelos simples era que no había persistencia del contexto a lo largo del tiempo. Una de las ventajas de las redes en deep learning es que tienen la capacidad de acordarse de lo que hemos estado viendo a lo largo de los documentos, es decir, el entendimiento tiene persistencia, por lo que se tiene que capturar ese valor del texto.
En redes neuronales tradicionales todas las entradas y las salidas son independientes entre sí, es decir, no hay ningún tipo de conexión entre esas neuronas. Entre medias sí que hay conexión, pero esto se da entre capas, no entre las neuronas como tal. Esto es un mal indicador para el deep learning en NLP.
CNN vs RNN
Este es el modo en el que funcionan las redes neuronales tradicionales. Tenemos capas de entrada, capas de salida y no hay ningún tipo de relación entre las neuronas.
Ahora pasaremos al uso de las redes recurrentes, es decir, un uso lineal de las redes.
¿Por qué tienen esta estructura las redes recurrentes y cómo se ve implícito el deep learning en NLP en este caso? Al final el texto es lineal, por lo que si queremos conservar el texto que intentamos predecir, o entender y extraer ciertas características de él, no hay mejor forma de hacerlo que pasar el texto de manera lineal.
Expliquemos el gráfico anterior sobre deep learning en NLP:
Tenemos la entrada, donde hay una neurona de la red recurrente, y una salida. También tenemos un bucle, lo que significa que hay un montón de capas juntas
Para hacer una visualización más en profundidad, realizamos el unfold. Este procedimiento descarga en cada una de las neuronas el conjunto de la red.
Aquí vemos las entradas, que se pasan todas en paralelo para cada una de las neuronas. Podemos observar que están aquí dentro de las neuronas y vemos que, cuando está dentro de la neurona haciendo la propagación, no solamente se presenta la salida, sino que además los pesos que se generan entre neurona y neurona se van pasando de una a otra. De hecho esto es un proceso iterativo, no se procesan todas a la vez, sino que se procesa el primero, se pasan los pesos generados al siguiente, se calcula, y así iterativamente hasta el final. El resultado consiste en generar una salida para cada neurona.
Algunas especificaciones a tener en cuenta:
- Unfolding es escribir la NN (red neuronal) para la secuencia completa. Por ejemplo, si una secuencia tiene 4 palabras, la red hará unfolding a 4 capas de la NN.
- S en el tiempo t es la memoria de la red en capa que se encarga de capturar lo que ha ocurrido en pasos previos.
- Una NN tradicional usa diferentes parámetros para cada capa de la red. En las RNN todos los parámetros se comparten entre todas las capas.
¿Qué sigue?
Ahora que hemos visto cómo funciona el deep learning en NLP, podemos seguir aprendiendo acerca de una de las disciplinas más prolíficas y mejor pagadas de hoy en día. Para esta finalidad tenemos nuestro Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp, una formación intensiva de solo 8 meses en la que aprenderás todo lo necesario para incursionar en este mundillo tan interesante y amplio. ¡Anímate a cambiar tu futuro y solicita más información ahora!
