Descenso de gradienteGradient Descent
Moverse poco a poco hacia donde el error se hace más pequeño
- El descenso de gradiente mira solo hacia dónde baja el terreno desde donde está parado y se mueve un poco hacia ahí.
- Lo que se mueve son los innumerables valores dentro del modelo, y lo que baja es el error, la medida de cuánto se equivoca la respuesta.
- No salta de un vistazo hasta el punto correcto. Da un paso, vuelve a mirar, y repite el proceso incontables veces.
- Cuánto mide cada paso lo decide la tasa de aprendizaje; con qué estilo se da ese paso lo decide el optimizador.
- Se detiene cuando el suelo se pone plano. Nada garantiza que ese punto sea el más bajo de todos.
Contenido
1La analogía
Al entrar con el auto a un estacionamiento subterráneo, sin ventanas, cuesta saber en qué piso se está. Aun así, basta con seguir la rampa hacia donde el piso baja para llegar al nivel de abajo. No hace falta ver ningún cartel de piso: alcanza con notar hacia qué lado se inclina el suelo justo donde se está parado.
El descenso de gradiente se mueve igual. El modelo revisa, desde donde está, hacia qué lado baja el error y da un paso pequeño en esa dirección. En el nuevo punto vuelve a mirar la inclinación y da otro paso. Repetir este paso cientos de miles de veces lo deja mucho más abajo que al principio.
Cuando la rampa se pone plana y ya no parece haber por dónde seguir bajando, ese es el punto de llegada de hoy.
2En detalle
Lo que baja es "cuánto se equivoca"
En el estacionamiento baja la altura, pero en el entrenamiento baja el error: un número que mide cuánto se separó la respuesta del modelo de la respuesta correcta. Si ese número es grande, todavía se está en un piso alto; si es chico, se bajó mucho.
Las perillas que mueven ese número están dentro del modelo: son los valores que ajusta el entrenamiento, los pesos y los sesgos de cada conexión. Girar una perilla sube o baja un poco el error. El descenso de gradiente gira todas esas perillas un poco, en la dirección que hace bajar el error.
Un modelo grande tiene desde millones hasta cientos de miles de millones de perillas. Es como estar parado sobre un piso que puede inclinarse en millones de direcciones a la vez, algo imposible de dibujar, pero el cálculo funciona igual sin importar cuántas direcciones haya.
La inclinación se conoce mirando solo los pies
El modelo no puede ver el terreno completo desde arriba. Lo único que puede ver es la inclinación justo donde está parado. Calcular, para cada perilla, cuánto sube o baja el error al girarla apenas un poco, y juntar todo eso, da la dirección cuesta abajo desde ese punto.
El procedimiento que hace ese cálculo es la retropropagación. Después de dar la respuesta, reparte el error hacia atrás, etapa por etapa, y le asigna a cada perilla su parte: "a vos te toca así de este lado". El descenso de gradiente se encarga de mover los valores según esa dirección recibida.
Mirar solo los pies es a la vez una debilidad y una ventaja. Nunca se sabe con certeza si hay un punto más bajo más lejos, pero tampoco hace falta recorrer todo el terreno, así que el paso se puede calcular aunque haya cientos de miles de millones de perillas. Si hubiera que probar cada posición una por una, el entrenamiento ni siquiera podría empezar.
El tamaño del paso y el estilo se deciden aparte
Saber la dirección cuesta abajo no define cuánto avanzar. Cuánto se mueve en cada paso lo fija aparte la tasa de aprendizaje. Si se fija grande, se baja rápido, pero a veces se pasa del fondo y sube por la pared contraria; si se fija chica, es más seguro, pero se puede pasar todo el día en el mismo piso.
Ajustar el estilo con que se da el paso es tarea del optimizador. Si viene bajando siempre hacia el mismo lado, le suma impulso; también puede dar pasos de distinto tamaño según la dirección. La dirección la decide el descenso de gradiente, el tamaño la tasa de aprendizaje, y el estilo el optimizador.
Que se vea plano no significa que sea el fondo
Al bajar se puede llegar a un punto rodeado de subida por todos lados. Como no hay hacia dónde seguir bajando, el paso se detiene. Pero nada garantiza que ese punto sea el nivel más bajo del estacionamiento entero: puede ser apenas un pequeño pozo en medio de un piso intermedio.
Aun así, el entrenamiento funciona bien en la práctica porque, cuando hay muchísimas perillas, es raro que un punto tenga subida en absolutamente todas las direcciones a la vez, y la mayoría de los puntos donde se detiene ya son bastante bajos. Ver los datos de a partes también ayuda: la inclinación bajo los pies cambia un poco cada vez, y eso facilita salir de esos pequeños pozos.
3Con más precisión
El descenso de gradiente es el procedimiento que actualiza los valores, poco a poco, en la dirección contraria al gradiente que resulta de derivar la función de error respecto a cada valor. El gradiente solo es válido en ese punto exacto, así que moverse mucho de una vez hace que la dirección deje de servir. Por eso se avanza en pasos chicos y repetidos, y cada actualización se llama un paso (step). Conviene tener presente que la unidad con la que se cuentan los pasos no es la misma que la unidad con la que se cuenta una vuelta completa a los datos.
La analogía también tiene sus costuras. El piso del estacionamiento está fijo, pero en el entrenamiento el terreno bajo los pies cambia un poco cada vez según qué datos se usaron para medir la inclinación. Es habitual medir el gradiente por lotes en vez de con todos los datos a la vez; ahí el piso tiembla un poco, pero se puede dar el paso mucho más seguido. Además, el estacionamiento tiene un arriba y un abajo claros, mientras que el terreno real tiene millones de direcciones, muy distinto del dibujo de una colina que se imagina una persona.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que el descenso de gradiente siempre encuentra la mejor respuesta posible, pero en realidad es común que se detenga en un punto bajo cercano, y la mayoría de las veces ese punto ya sirve.
Es fácil pensar que el error baja en cada paso, pero en realidad sube y baja mientras la tendencia general es hacia abajo.
Es fácil pensar que el descenso de gradiente calcula la respuesta correcta, pero en realidad solo indica hacia qué lado ir; moverse hay que hacerlo, paso a paso, muchísimas veces.
7Resumen en una línea
En resumenEl descenso de gradiente mira solo la inclinación bajo los pies y se mueve poco a poco hacia donde el error se hace más pequeño: es el paso básico del entrenamiento.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02