La generación de lenguaje natural, también llamada Natural Language Generation o NLG, es un proceso de generación de frases coherentes en forma de lenguaje natural. Su objetivo es generar texto, pero no de manera aleatoria, ya que si fuera así, podríamos coger vocabulario de cualquier corpus que hayamos estado viendo y empezar a meter palabras aleatorias sin ningún tipo de sentido.
Esto también sería generación de lenguaje natural, porque estaríamos generando texto, pero, como veremos más adelante, el NLG no es solo generar palabras o frases, sino que todas las frases que hagamos en la generación de lenguaje natural tienen que ser coherentes y deben tener una cohesión.
Algoritmos de generación de lenguaje natural
Los algoritmos de generación de lenguaje natural pueden escribir, pero no leer. Esto quiere decir que no entienden lo que están poniendo, ya que no tienen esta habilidad. De ahí la importancia de que atiendan a lo que están intentando poner de cara a generar texto coherente.
Para escribir texto, primero hay que entenderlo. Por ello, es necesario convertir datos no estructurados en algo estructurado entendible para los algoritmos de generación de lenguaje natural. Como casi todos los datasets, inicialmente los datos vienen de una forma no estructurada, debido a que vienen con ruido, con signos de puntuación y otros aspectos que no aportan ningún valor.
Estos algoritmos de generación de lenguaje natural también hay que filtrarlos, pero son más fuertes a la hora de procesarlos y, normalmente, no son tan sensibles como un algoritmo master tradicional.
En este caso, además, el procesamiento es bastante más liviano al evitar la eliminación de stopwords. Si, por ejemplo, en NLG eliminamos stopwords, el algoritmo que obtengamos va a generar combinaciones de palabras incompletas y con gramática muy básica, y eso es precisamente lo que no queremos y estamos evitando, puesto que lo que se busca es que el algoritmo de generación de lenguaje natural hable del modo más natural posible. Así pues, en problemas de NLG es necesario que mantengamos el vocabulario entero; lo que sí podemos y debemos borrar son los signos de puntuación.
NLU o Natural Language Understanding
Como hemos dicho, no solo es importante que generemos lenguaje, sino hacer que este sea entendible. En NLP (natural language processing), esto está relacionado con otra área que se denomina NLU o Natural Language Understanding.
NLG + NLU + NLG
Veamos un pequeño diagrama que nos muestra claramente cómo se conformarían cada una de las tres áreas: el natural language processing, el natural language understanding y el natural language generation:
El área que engloba todo es el NLP.
El NLU, por su parte, nos permite entender, entre otras cosas, la manera en la que el lenguaje va llegando y es procesado.
En el lado opuesto tenemos el NLG, que corresponde a tareas mucho más centradas en la generación de texto, como puede ser generación de fakenews, resúmenes, reporte del clima…
También tenemos algunos apartados que están en el medio del NLG y el NLU, como los agentes conversacionales, chatbots y todo este tipo de sistemas de conversación que hay y que, de hecho, actualmente están muy de moda.
Estos sistemas, además de generar lenguaje, tienen que entender a la persona con la que están hablando, que generalmente es un humano.
¿Qué sigue?
Ahora que sabes cómo funciona la generación de lenguaje natural, es el momento de seguir formándote en alguna de las numerosas vertientes que tiene el ámbito del Big Data. En KeepCoding te ofrecemos la posibilidad de aprender con los mejores profesionales, que te guiarán a través de la teoría y la práctica para que, en unos pocos meses, puedas convertirte en un gran profesional IT. Échale un vistazo al temario de nuestro Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp y descubre esta formación intensiva de alta calidad. ¡Solicita ya más información y da el paso que impulsará tu futuro!
