Ejemplo de visualización de activaciones de capas

Autor: | Última modificación: 31 de agosto de 2022 | Tiempo de Lectura: 4 minutos
Temas en este post:

Cuestiones como un ejemplo de visualización de activaciones de capas se presentan como ayudas para comprender cómo funcionan, de forma práctica, este tipo de alternativas. Por ello, en este post, te exponemos un ejemplo de visualización de activaciones de capas.

Ejemplo de visualización de activaciones de capas

Para este ejemplo de visualización de activaciones de capas vamos primero a visualizar las activaciones de la última capa (saliency). Para ello, necesitamos cambiar la activación de la última capa, de softmax a lineal, para una correcta visualización.

%tensorflow_version 1.x

TensorFlow 1.x selected.

# instalamos las versiones adecuadas, si no, no funcionará
#!pip uninstall vis -y
#!pip uninstall keras-vis -y
#!pip uninstall keras-vis-temp -y
#!pip install git+https://github.com/raghakot/keras-vis.git -U
#!pip install scipy==1.1.0
!pip uninstall vis -y
!pip uninstall keras-vis -y
!pip uninstall keras-vis-temp -y
!pip install git+https://github.com/raghakot/keras-vis.git -U
!pip install scipy==1.1.0
!pip install 'h5py==2.10.0' --force-reinstall
Ejemplo de visualización de activaciones de capas 1
from keras.applications import VGG16
from vis.utils import utils
from keras import activations
Using TensorFlow backend.
# Build the VGG16 network with ImageNet weights
model = VGG16(weights='imagenet', include_top=True)

# Compilamos el modelo
model.compile(optimizer='sgd', loss='categorical_crossentropy', metrics=['accuracy'])

# Utility to search for layer index by name. 
# Alternatively we can specify this as -1 since it corresponds to the last layer.
layer_idx = utils.find_layer_idx(model, 'predictions')

# Swap softmax with linear
model.layers[layer_idx].activation = activations.linear
model = utils.apply_modifications(model)
Ejemplo de visualización de activaciones de capas 2
# imports necesarios
from matplotlib import pyplot as plt
%matplotlib inline
plt.rcParams['figure.figsize'] = (18, 6) # tamaño de las imágenes

Ahora, en el ejemplo de visualización de activaciones de capas vamos a trabajar con dos imágenes reales para ver dónde se está fijando la red:

img1 = utils.load_img('https://image.ibb.co/ma90yJ/ouzel2.jpg', target_size=(224, 224))
img2 = utils.load_img('https://image.ibb.co/djhyky/ouzel1.jpg', target_size=(224, 224))

f, ax = plt.subplots(1, 2)
ax[0].imshow(img1)
ax[0].grid(False)
ax[0].axis('off')
ax[1].imshow(img2)
ax[1].grid(False)
ax[1].axis('off')

(-0.5, 223.5, 223.5, -0.5)

Ejemplo de visualización de activaciones de capas 3

A la función visualize_saliency tenemos que pasarle el modelo, el id de la capa, el ID de la clase para la que queremos ver las activaciones, y la imagen para la que queremos ver las activaciones.

El ID de la clase para la que queremos ver las activaciones funciona en el caso de la VGG16 con los pesos de la ImageNet, la clase pájaro es la 20, por lo que, si le metemos una imagen de un pájaro, debería activarse bastante e indicarnos en qué se fija para decidir que efectivamente es un pájaro. Si le metiésemos un 64, buscaría una green mamba, que es una serpiente, por lo que las activaciones deberían ser mucho menores.

Ejemplo de visualización de activaciones de capas 4
Ejemplo de visualización de activaciones de capas 5

Aquí puedes comprobar el listado completo de las 1000 clases.

Ahora, vamos a ver las activaciones para nuestras dos imágenes de ejemplo de visualización de activaciones de capas:

from vis.visualization import visualize_saliency
from vis.utils import utils
from keras import activations

# con esta línea encontramos el índice de la capa predicciones, que es la que
# queremos ver sus activaciones
layer_idx = utils.find_layer_idx(model, 'predictions')
print('Número de capa: ', layer_idx)

f, ax = plt.subplots(1, 2)
for i, img in enumerate([img1, img2]):    
    
    # 20: 'water ouzel, dipper'
    grads = visualize_saliency(model, layer_idx, filter_indices=20, seed_input=img, backprop_modifier='guided')
    
    # vamos a ver las activaciones con el colormap=jet, que es adecuado para ver
    # mapas de probabilidades
    ax[i].imshow(grads, cmap='jet')
    ax[i].grid(False)
Ejemplo de visualización de activaciones de capas 6
Ejemplo de visualización de activaciones de capas 7

Mira cómo aparecen las zonas en las que se fija nuestra red para hacer la predicción.

Vamos a probar otro método de visualización: el cam-saliency.

En este caso, la visualización contiene más detalles, ya que hace uso de la información no solo de la capa indicada, sino también de la anterior capa Conv o Pool que encuentre.

import numpy as np
import matplotlib.cm as cm
from vis.visualization import visualize_cam, overlay

for modifier in [None, 'guided', 'relu']:
    plt.figure()
    f, ax = plt.subplots(1, 2)
    plt.suptitle("vanilla" if modifier is None else modifier)
    for i, img in enumerate([img1, img2]):    
        # 20 es el indice correspondiente a la clase 'ouzel'
        grads = visualize_cam(model, layer_idx, filter_indices=20, 
                              seed_input=img, backprop_modifier=modifier)        
        # como la salida es una imagen 2D, tenemos que convertirla a 3D para
        # poder mostrarla 
        jet_heatmap = np.uint8(cm.jet(grads)[..., :3] * 255)
        ax[i].imshow(overlay(jet_heatmap, img))
        ax[i].axis('off')
<Figure size 1296x432 with 0 Axes>
Ejemplo de visualización de activaciones de capas 8
model.summary()
Ejemplo de visualización de activaciones de capas 9

Aprende mucho más del Big Data

En este post, te hemos compartido un ejemplo de visualización de activaciones de capas que esperamos haya sido de ayuda. Ahora, te animamos a continuar con tu formación y, para ello, te recomendamos nuestro Bootcamp Full Stack Big Data, Inteligencia Artificial & Machine Learning.

Esta formación intensiva te acercará a muchos más sistemas, lenguajes y herramientas que trabajan con los macrodatos, de forma que te convertirás en un data scientist experto al saber escoger las mejores alternativas para un procesamiento de datos. De hecho, KeepCoding se reconoce por formar profesionales curiosos, cuestionadores, amantes del trabajo eficaz y buscadores incansables de la autosuperación y del desafío intelectual. ¡Apúntate!

👉 Descubre más del Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp ¡Descarga el temario!

👉 Prueba el Bootcamp Gratis por una Semana ¡Empieza ahora mismo!

👉 Conoce nuestros otros Bootcamps en Programación y Tecnología

[email protected]

¿Sabías que hay más de 5.000 vacantes para desarrolladores de Big Data sin cubrir en España? 

En KeepCoding llevamos desde 2012 guiando personas como tú a áreas de alta empleabilidad y alto potencial de crecimiento en IT con formación de máxima calidad.

 

Porque creemos que un buen trabajo es fuente de libertad, independencia, crecimiento y eso ¡cambia historias de vida!


¡Da el primer paso!