Backward pass en Deep Learning

Autor: | Última modificación: 10 de agosto de 2022 | Tiempo de Lectura: 3 minutos
Temas en este post:

Backward pass en Deep Learning es uno de los procesos necesarios dentro de este campo del manejo de los macrodatos. Por esta razón, en este post, te explicamos qué es y cómo funciona backward pass en Deep Learning.

Backward pass en Deep Learning

El backard pass en Deep Learning hace referencia, como su nombre indica, en el proceso de considerar el cálculo hacia atrás y por separado en función de cada uno de los valores.

¿Cómo podemos actualizar los pesos, cada uno en función de lo que influya en el error total? Para ello podemos calcular cuánto influye un cambio en un determinado peso con respecto al error total y actualizarlo teniendo en cuenta su relación.

Por ejemplo, ¿se te ocurre alguna forma de calcular cuánto influye un cambio en el peso w5 en el error total? En efecto, hablamos de derivadas. Podemos entender cada neurona como una función y, por tanto, aplicar la regla de la cadena para llegar desde el error total hasta el peso w5. Pero, antes de esto, ¿recuerdas cómo funciona la regla de la cadena?

Vamos a ver un ejemplo

Imagínate que tenemos que derivar la función y=(x2+1)3 respecto de x, es decir, queremos encontrar cuánto afecta un cambio en x a la función y.

Podemos entender esta función como una composición de dos funciones, donde:

u=x2+1

y=u3

Ahora necesitamos derivar y con respecto a x. Para ello, primero necesitamos derivar y con respecto a u y, a continuación, u con respecto a x:

Backward pass en Deep Learning 1

Vamos a verlo con nuestro ejemplo:

Backward pass en Deep Learning 2

En resumen, esto es la regla de la cadena.

Veámoslo ahora como si fuese un grafo:

Backward pass en Deep Learning 3

Imagina que cada círculo es una función y que cada flecha es una multiplicación. Entonces, utilizando la regla de la cadena, podríamos escribir lo siguiente:

Backward pass en Deep Learning 4

Una vez hemos recordado la regla de la cadena, veamos cómo podemos escribir la fórmula que nos indique cuánto cambia el Etotal en función del peso w5:

Backward pass en Deep Learning 5

El error total se define como:

Backward pass en Deep Learning 6

En este caso, queremos llegar al peso w5. Si te fijas, verás que el peso w5 solo influye realmente en la neurona o1, por lo que solo nos importa el Eo1, lo que hace que nuestro Etotal=Eo1.

Backward pass en Deep Learning 7

Con lo cual, podemos definir la variación del peso w5 con respecto al Etotal como:

Backward pass en Deep Learning 8

Ahora, necesitamos calcular su derivada con respecto a outo1, que es lo que indica cuánto influye un cambio en outo1 en el Etotal:

Backward pass en Deep Learning 9

Con esto ya tenemos cuánto afecta un cambio en outo1 al Etotal. Ahora, vamos con el siguiente término:

Backward pass en Deep Learning 10

Que se puede expresar como:

Backward pass en Deep Learning 11

Y su derivada:

Backward pass en Deep Learning 12

Los dos últimos pasos son posibles debido a que la derivada de la función logística es una función par, es decir, f(x)=f(−x).

Ya tenemos la derivada, así que ahora hay que calcular su valor:

Backward pass en Deep Learning 13

Por lo tanto, ya tenemos el primer y el segundo término calculados de nuestra fórmula para llegar a w5.

Backward pass en Deep Learning 14

Si nos fijamos en las entradas que tiene la neurona o1, podemos sacar inmediatamente la fórmula de ino1:

Backward pass en Deep Learning 15

Y con esto, ya podemos calcular ∂ino1/∂w5:

Backward pass en Deep Learning 16

Ahora que hemos llegado hasta aquí, ya tenemos todos los términos necesarios para saber cuánto influye w5 en el Etotal calculado:

Backward pass en Deep Learning 17

Con estos pasos, ya sabemos cómo calcular cuánto influyen los pesos que hay entre la segunda capa y la tercera (la oculta y la de salida).

¿Cómo seguir aprendiendo sobre Big Data?

En el desarrollo de este post te hemos expuesto cómo funciona el backward pass en Deep Learning, de manera que ahora podrás implementarlo en tu procesamiento de los macrodatos. Sin embargo, todavía faltan muchos más aspectos dentro de esta amplia área del Deep Learning por aprender si tu objetivo es dedicarte a este ámbito de forma profesional, así que te animamos a seguir aprendiendo sobre el Big Data para alcanzar tu meta.

Si aún no sabes cómo, en KeepCoding te ofrecemos el Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning. Por medio de esta formación íntegra e intensiva, se te presentarán las teorías del aprendizaje automático con énfasis en algoritmos de regresión y clasificación. De manera que, con el tiempo, serás capaz de conocer las ventajas y desventajas de los distintos algoritmos analizados. Además, adquirirás experiencia gracias a que se fusionan los fundamentos teóricos con ejemplos prácticos y realistas para que puedas aplicarlos. ¡Pide información e inscríbete ahora para continuar aprendiendo!

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

[email protected]

¿Sabías que hay más de 5.000 vacantes para desarrolladores de Big Data sin cubrir en España? 

En KeepCoding llevamos desde 2012 guiando personas como tú a áreas de alta empleabilidad y alto potencial de crecimiento en IT con formación de máxima calidad.

 

Porque creemos que un buen trabajo es fuente de libertad, independencia, crecimiento y eso ¡cambia historias de vida!


¡Da el primer paso!