SigmoideSigmoid

Pasar los valores a una regla con extremos fijos

Dentro de una red neuronal, los valores que circulan no tienen un rango fijo. Al pesar y sumar lo que llega de la capa anterior, aparecen tanto números muy grandes como negativos muy grandes. La sigmoide toma ese valor y siempre lo lleva a un punto entre 0 y 1. Un positivo enorme se acerca a 1 sin llegar a tocarlo, y un negativo enorme se acerca a 0 sin llegar a tocarlo tampoco.

El orden no se altera: si entra un valor mayor, sale un resultado mayor. Se mantiene la comparación de tamaños, solo que se traslada a una regla más estrecha. Por eso es útil para comparar, bajo el mismo criterio, valores que vienen de lugares distintos.

Sensible en el centro, torpe en los extremos

El carácter de esta regla cambia según la posición. Cerca del centro, un movimiento pequeño en la entrada cambia mucho el resultado. Hacia los extremos, en cambio, aunque el valor se duplique o se triplique, el resultado apenas se mueve.

Esta propiedad es una ventaja en los puntos de decisión. En un límite ambiguo, la respuesta se reparte con cuidado, y en un caso claro, queda bien marcado. Es natural que no se distinga mucho entre una evidencia fuerte y otra un poco más fuerte todavía: no hay mucho que ganar haciendo más segura una decisión que ya era clara.

En cambio, en medio de la red, donde el valor solo está de paso, esta torpeza se convierte en un defecto. Con un valor apenas mayor, el resultado ya se pega a un extremo, y señales muy distintas terminan aplastándose casi al mismo valor.

Un resultado que se lee como probabilidad

Como el resultado queda entre 0 y 1, la gente suele leerlo como si fuera una probabilidad. Es la razón por la que se coloca la sigmoide al final en problemas donde la respuesta es sí o no, como distinguir si algo es spam o no lo es. Si sale 0.8, se interpreta que la balanza se inclina hacia ese lado; si sale cerca de 0.5, se pospone la decisión o se pasa a una persona.

Cuando la respuesta es una entre varias opciones, la cosa cambia. Si se aplica una sigmoide por separado a cada candidato, la suma de los valores no da 1, y compararlos se vuelve difícil. En esos casos se usa otra regla que reparte entre todos los candidatos a la vez. Al revés, cuando pueden aplicarse varias etiquetas a la vez, sí conviene poner una sigmoide en cada etiqueta por separado.

Por qué se dejó de usar en medio de la red

Antes también se usaba la sigmoide en las capas intermedias. El problema era esa torpeza en los extremos. La red aprende devolviendo hacia atrás qué tan lejos quedó de la respuesta, y en ese camino se multiplica, en cada capa, la pendiente de esta regla. La pendiente en los extremos es casi 0, y hasta en el punto más inclinado, el del centro, sigue siendo bastante menor que 1.

¿Qué pasa si se multiplica un valor pequeño una y otra vez? Con solo diez capas, la señal que vuelve casi desaparece, y las primeras capas se quedan sin nada que aprender, congeladas en su estado inicial. De ahí viene que una regla tan simple como el umbral haya reemplazado a la sigmoide en el medio de las redes profundas.