Ejercicios resueltos de Deep learning

Question 1

Red de 2 entradas, una capa oculta de 2 neuronas con ReLU y una salida con sigmoide. Entrada x = (1, 2). Neurona oculta 1: pesos (1, −1), sesgo 0. Neurona oculta 2: pesos (0,5 ; 0,5), sesgo −1. Salida: pesos (2, 4), sesgo −1. Calcula la salida de la red.

Accepted Answer

Cada neurona hace siempre lo mismo y en este orden: suma ponderada de sus entradas, le suma el sesgo, y al resultado le aplica la función de activación. La suma ponderada se escribe z = w₁x₁ + w₂x₂ + b. Neurona oculta 1: z₁ = 1×1 + (−1)×2 + 0 = 1 − 2 = −1. La activación ReLU deja pasar el número si es positivo y devuelve 0 si es negativo: ReLU(−1) = 0. Salida de la neurona 1: 0. Neurona oculta 2: z₂ = 0,5×1 + 0,5×2 + (−1) = 0,5 + 1 − 1 = 0,5. ReLU(0,5) = 0,5. Salida de la neurona 2: 0,5. La capa oculta entrega entonces el vector (0 ; 0,5). Ese es el único dato que ve la capa siguiente: la entrada original ya no vuelve a aparecer. Neurona de salida: z = 2×0 + 4×0,5 + (−1) = 0 + 2 − 1 = 1. Se usa sigmoide porque la salida debe ser una probabilidad entre 0 y 1, y ReLU no acota por arriba. σ(1) = 1 / (1 + e⁻¹) = 1 / (1 + 0,3679) = 1 / 1,3679 = 0,731. Respuesta: La red entrega 0,731 (aproximadamente 73 % de probabilidad para la clase positiva).

Question 2

A una imagen de 224 × 224 × 3 se le aplica una capa convolucional de 32 filtros de 3 × 3, con paso 1 y relleno 1, y después un max pooling de 2 × 2 con paso 2. Halla el tamaño de salida de cada capa y cuántos parámetros entrenables tiene la convolución.

Accepted Answer

El tamaño de salida de una convolución sale de la fórmula (N − F + 2P) / S + 1, donde N es el lado de la entrada, F el del filtro, P el relleno y S el paso. La fórmula cuenta en cuántas posiciones distintas cabe el filtro al deslizarse. Convolución: (224 − 3 + 2×1) / 1 + 1 = 223 + 1 = 224. El alto y el ancho no cambian, y eso no es casualidad: con filtro 3 × 3, paso 1 y relleno 1 la salida siempre conserva el tamaño. Esa combinación es la más usada precisamente por eso. La profundidad de la salida no depende de la imagen sino del número de filtros: 32. La salida de la convolución es 224 × 224 × 32. Parámetros: cada filtro atraviesa TODA la profundidad de la entrada, así que no es de 3 × 3 sino de 3 × 3 × 3 = 27 pesos, más 1 sesgo = 28 parámetros por filtro. Como hay 32 filtros: 28 × 32 = 896 parámetros entrenables. Es poquísimo para una capa que mira una imagen entera, y esa es la gracia de la convolución: el mismo filtro se reutiliza en las 224 × 224 posiciones en vez de tener un peso por píxel. Max pooling 2 × 2 con paso 2: (224 − 2) / 2 + 1 = 111 + 1 = 112. El pooling no toca la profundidad. Salida: 112 × 112 × 32, y con 0 parámetros, porque solo escoge el máximo de cada ventana; no hay nada que aprender. Respuesta: Convolución: 224 × 224 × 32 con 896 parámetros. Pooling: 112 × 112 × 32 con 0 parámetros.

Deep learning