¿Qué es la entropía cruzada en Deep Learning?

Autor: | Última modificación: 16 de agosto de 2022 | Tiempo de Lectura: 3 minutos
Temas en este post:

Cuestiones como la la entropía cruzada en Deep Learning forman parte de los facilitadores en este amplio campo del manejo de los macrodatos. De manera que contar con este tipo de saber te ayudará en el procesamiento del Big Data.

Por este motivo, en este post, te explicamos qué es la entropía cruzada en Deep Learning.

¿Qué es la entropía cruzada en Deep Learning?

Para definir qué es la entropía cruzada en Deep Learning, vamos a tratar de entender primero la entropía con unos ejemplos.

Primer ejemplo

Imagina que estamos jugando a un juego en el que tenemos una bolsa con bolas de diferentes colores. La meta del juego es adivinar de qué color es la que un voluntario extrae con el mínimo número de preguntas.

En este caso, tenemos una bola azul, una roja, una verde y una naranja:

¿Qué es la entropía cruzada en Deep Learning? 1

Con lo cual, cada bola tiene 1/4 de probabilidades de salir.

Una de las mejores estrategias sería preguntar: primero, si la bola que ha sacado es azul o roja. En caso positivo, preguntaríamos si la bola es azul. En caso negativo, preguntaríamos si es verde. Así que para la entropía necesitamos dos preguntas:

¿Qué es la entropía cruzada en Deep Learning? 2

Segundo ejemplo

Esta vez tenemos una bolsa con bolas en las que 12 son azules, 14 son rojas, 18 verdes y 18 rojas. Ahora, la estrategia óptima sería preguntar primero si es azul, ya que hay más probabilidades de que salga una azul.

Si lo es, ya hemos terminado. Si no, podríamos preguntar si es roja, que es la siguiente clase más probable. Si lo fuese, listo. Si no, podríamos preguntar si es verde (o si es naranja).

¿Qué es la entropía cruzada en Deep Learning? 3

Ahora lo que pasa es que la mitad del tiempo (12) es azul, y nos cuesta 1 pregunta adivinarlo. 14 veces es roja, y nos cuesta 2 preguntas. 18 es verde, y nos cuesta 3 preguntas (lo mismo si es naranja).

Por lo tanto, el número de preguntas esperado para adivinar una bola es: 12⋅1 (azul) +14⋅2 (roja) +18⋅3 (verde) +18⋅3 (naranja) = 1.75.

Tercer ejemplo

Imagina ahora que tenemos una bolsa llena de bolas azules. ¿Cuántas preguntas necesitamos para averiguar de qué color es la bola que saquen? Ninguna.

De estos ejemplos podemos sacar una expresión que permita calcular el número de preguntas dependiendo de la probabilidad de la bola. Así, una bola con probabilidad p cuesta log21p preguntas.

Por ejemplo, para la bola que tiene p=18, necesitamos n_preg=log2118=3

Así que el número de preguntas esperado en total es: n_preg_total=∑ipi⋅log21pi

Al final, una forma de entender la entropía es la siguiente: si siguiéramos la estrategia óptima, ¿cuál es el número esperado de preguntas que nos permitirían adivinar el color de la bola? Por tanto, cuanto más complicado es el juego, mayor es la entropía. En este caso, Ejemplo 1 > Ejemplo 2 > Ejemplo 3.

Ahora que sabemos qué es la entropía, vamos a ver qué es la entropía cruzada en Deep Learning (cross-entropy).

Imagina que seguimos la estrategia del primer ejemplo para el segundo ejemplo:

¿Qué es la entropía cruzada en Deep Learning? 4

Así, para averiguar si es de cualquier color, hacen falta dos preguntas. Si calculamos el número total de preguntas necesarias, teniendo en cuenta que esta vez cada bola tiene una probabilidad, el resultado es:

¿Qué es la entropía cruzada en Deep Learning? 5

Así que esta estrategia es peor que la estrategia que seguimos en el primer ejemplo. Esto que acabamos de calcular es la entropía cruzada de usar esta estrategia.

Al final, intuitivamente, la entropía es el número de preguntas esperadas usando la mejor estrategia posible, mientras que la entropía cruzada en Deep Learning es el número de preguntas esperadas cuando no usas la mejor estrategia posible.

Por este motivo, lo que intentamos es minimizar la entropía cruzada.

Formalmente, se define como:

¿Qué es la entropía cruzada en Deep Learning? 6

Donde:

  • pi es la probabilidad real de las bolas (en nuestro ejemplo, 12 para azul, 14 para rojo, y 18 para verde y naranja).
  • pi^ es la probabilidad que hemos asumido al usar nuestra estrategia, que en este caso es que todas las bolas son igual de probables (14 para todos los colores).

Una forma de recordar qué va en cada lugar de la fórmula es tener en mente que queremos averiguar cuántas preguntas hacen falta siguiendo nuestra estrategia, que es pi^, así que dentro del log2 va pi^.

Conoce más sobre el Big Data

En el desarrollo de este post, te hemos expuesto qué es la entropía cruzada en Deep Learning; sin embargo, esta es una área muy amplia en el manejo de los macrodatos. Por lo que, si planeas profundizar en este campo, necesitas el Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning. ¡Empieza ahora!

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

cur[email protected]

¿Sabías que hay más de 5.000 vacantes para desarrolladores de Big Data sin cubrir en España? 

En KeepCoding llevamos desde 2012 guiando personas como tú a áreas de alta empleabilidad y alto potencial de crecimiento en IT con formación de máxima calidad.

 

Porque creemos que un buen trabajo es fuente de libertad, independencia, crecimiento y eso ¡cambia historias de vida!


¡Da el primer paso!