Backward pass en Deep Learning es uno de los procesos necesarios dentro de este campo del manejo de los macrodatos. Por esta razón, en este post, te explicamos qué es y cómo funciona backward pass en Deep Learning.
Backward pass en Deep Learning
El backard pass en Deep Learning hace referencia, como su nombre indica, en el proceso de considerar el cálculo hacia atrás y por separado en función de cada uno de los valores.
¿Cómo podemos actualizar los pesos, cada uno en función de lo que influya en el error total? Para ello podemos calcular cuánto influye un cambio en un determinado peso con respecto al error total y actualizarlo teniendo en cuenta su relación.
Por ejemplo, ¿se te ocurre alguna forma de calcular cuánto influye un cambio en el peso w5 en el error total? En efecto, hablamos de derivadas. Podemos entender cada neurona como una función y, por tanto, aplicar la regla de la cadena para llegar desde el error total hasta el peso w5. Pero, antes de esto, ¿recuerdas cómo funciona la regla de la cadena?
Vamos a ver un ejemplo
Imagínate que tenemos que derivar la función y=(x2+1)3 respecto de x, es decir, queremos encontrar cuánto afecta un cambio en x a la función y.
Podemos entender esta función como una composición de dos funciones, donde:
u=x2+1
y=u3Ahora necesitamos derivar y con respecto a x. Para ello, primero necesitamos derivar y con respecto a u y, a continuación, u con respecto a x:
Vamos a verlo con nuestro ejemplo:
En resumen, esto es la regla de la cadena.
Veámoslo ahora como si fuese un grafo:
Imagina que cada círculo es una función y que cada flecha es una multiplicación. Entonces, utilizando la regla de la cadena, podríamos escribir lo siguiente:
Una vez hemos recordado la regla de la cadena, veamos cómo podemos escribir la fórmula que nos indique cuánto cambia el Etotal en función del peso w5:
El error total se define como:
En este caso, queremos llegar al peso w5. Si te fijas, verás que el peso w5 solo influye realmente en la neurona o1, por lo que solo nos importa el Eo1, lo que hace que nuestro Etotal=Eo1.
Con lo cual, podemos definir la variación del peso w5 con respecto al Etotal como:
Ahora, necesitamos calcular su derivada con respecto a outo1, que es lo que indica cuánto influye un cambio en outo1 en el Etotal:
Con esto ya tenemos cuánto afecta un cambio en outo1 al Etotal. Ahora, vamos con el siguiente término:
Que se puede expresar como:
Y su derivada:
Los dos últimos pasos son posibles debido a que la derivada de la función logística es una función par, es decir, f(x)=f(−x).
Ya tenemos la derivada, así que ahora hay que calcular su valor:
Por lo tanto, ya tenemos el primer y el segundo término calculados de nuestra fórmula para llegar a w5.
Si nos fijamos en las entradas que tiene la neurona o1, podemos sacar inmediatamente la fórmula de ino1:
Y con esto, ya podemos calcular ∂ino1/∂w5:
Ahora que hemos llegado hasta aquí, ya tenemos todos los términos necesarios para saber cuánto influye w5 en el Etotal calculado:
Con estos pasos, ya sabemos cómo calcular cuánto influyen los pesos que hay entre la segunda capa y la tercera (la oculta y la de salida).
En el desarrollo de este post te hemos expuesto cómo funciona el backward pass en Deep Learning, de manera que ahora podrás implementarlo en tu procesamiento de los macrodatos. Sin embargo, todavía faltan muchos más aspectos dentro de esta amplia área del Deep Learning por aprender si tu objetivo es dedicarte a este ámbito de forma profesional, así que te animamos a seguir aprendiendo sobre el Big Data para alcanzar tu meta.
Si aún no sabes cómo, en KeepCoding te ofrecemos el Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning. Por medio de esta formación íntegra e intensiva, se te presentarán las teorías del aprendizaje automático con énfasis en algoritmos de regresión y clasificación. De manera que, con el tiempo, serás capaz de conocer las ventajas y desventajas de los distintos algoritmos analizados. Además, adquirirás experiencia gracias a que se fusionan los fundamentos teóricos con ejemplos prácticos y realistas para que puedas aplicarlos. ¡Pide información e inscríbete ahora para continuar aprendiendo!
