Explicación de la fórmula de la loss function

En otro post explicamos qué es la loss function y cómo funciona. En este artículo, profundizaremos aún más y hablaremos acerca de una fórmula de la loss function, la de mínimos cuadrados.

La loss function es un método muy útil para evaluar lo bien que nuestro algoritmo modela su conjunto de datos. Si las predicciones que hacemos están erradas, nuestra loss function o función de pérdida generará un número más alto. Si son bastante buenas, la loss function generará un número más bajo.

Fórmula de la loss function

La fórmula de la loss function es la siguiente:

Lo único que hace esta función es, si tenemos una recta y unos puntos como los que vemos a continuación, mide la diferencia entre el punto azul y el punto que nos da la recta (representada por la línea roja).

La recta, entonces, vendría representada por la fórmula h (xi). Si esta fórmula de la loss function la elaboramos, nos daría algo así:

Tenemos el punto morado, que corresponde a (x₁, y₁). Si usamos nuestro modelo de least squared, el h (xi) (ya hemos visto que es la hipótesis, pero podemos pensar que es simplemente el modelo), ya hemos visto que es el output del modelo. Este output del modelo lo único que va a hacer es darnos un valor de salida. Ese valor de salida sería el punto en la recta, ya que este punto viene dado por h (xi), que en este caso es h (x1), y a su vez, ese valor no sería más que sustituir en y = ax₂ + b la x por el valor de nuestro dato.

A lo mejor ya lo has visto en estadística y recuerdas que la parte importante de esta función es que lo que está haciendo es medir la diferencia entre el punto original y el punto que nos proporciona nuestro modelo.

Funciona del siguiente modo: coge nuestros datos, es decir, los datos del modelo que queremos obtener, que corresponde a yi, y y (vector), que se denota como h (xi) y que corresponde al valor predicho de nuestro modelo.

La parte del sumatorio está recorriendo todos los puntos de nuestros datos, ya sea el conjunto de datos de test o el conjunto de datos de entrenamiento, y está tomando la media.

_N

∑

^L:1

Aquí lo más importante con lo que nos deberíamos quedar es el cuadrado último de la fórmula de la loss function.

¿Por qué es tan fundamental el cuadrado en esta fórmula de la loss function? Hay que aclarar varias cosas:

• Lo primero es que queremos que las distancias sean positivas, porque, en caso contrario, contrarresta.
• Ahora, tenemos dos formas de hacer que los valores sean positivos:
  • El mínimo cuadrado.
  • El valor absoluto.
• La diferencia entre estas dos y la razón por la que preferimos el mínimo cuadrado por encima del valor absoluto es que existe un punto de no derivabilidad que crea el valor absoluto.
• Si pintamos el valor absoluto de una forma genérica en la recta, tiene forma de v. Si pintamos el cuadrado, tiene una forma parabólica:

La segunda forma, que corresponde al valor absoluto, es una loss function. Con esta loss function lo que pretendemos es encontrar los parámetros que mejor se adapten al modelo, para así poder optimizarlo. ¿Cómo optimizamos la función de pérdida? Usando un optimizador, entre los que se encuentra el gradiente descendente. El gradiente simplemente indica que es una derivada parcial respecto a las variables de la función. ¿Qué sucede con la derivada? Pues que en el punto intermedio de la v que se forma en la recta la derivada no existe.

¿Quieres seguir aprendiendo?

El Big Data es una de las áreas en las que más trabajos se ofertan. Si quieres ser uno de los afortunados que pueda acceder a este tipo de opciones laborales, tenemos para ti el Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp, una formación intensiva en la que adquirirás todos los conocimientos teóricos y prácticos que te permitirán obtener el trabajo de tus sueños. ¡No esperes más para seguir tu camino hacia el éxito y solicita ya más información!