LSTM
Red recurrente que decide con puertas qué borrar y qué conservar
- LSTM (Long Short-Term Memory, memoria a corto y largo plazo) es una red recurrente a la que se le añade un hilo de memoria aparte que dura mucho tiempo.
- En cada paso se abren y cierran tres puertas. Deciden qué borrar, qué anotar de nuevo y qué sacar para mostrar.
- Ese hilo de memoria sigue fluyendo tal cual si nadie lo toca. Por eso una palabra dicha al principio de la frase puede llegar viva hasta el final.
- La señal que se recorre hacia atrás durante el entrenamiento también viaja por ese hilo, así que incluso en textos largos se puede aprender lo que pasó al principio.
- El criterio para abrir y cerrar las puertas no lo fija una persona: el propio entrenamiento aprende qué conviene conservar.
Contenido
1La analogía
Al juego del teléfono descompuesto de antes le añadimos un cuaderno. Es un cuaderno que va fluyendo en línea, pasando de persona en persona junto con el mensaje. Ahora, cada vez que alguien escucha una frase nueva, decide tres cosas: si borrar del cuaderno una línea que ya no hace falta, qué de lo recién escuchado anotar como nuevo, y qué sacar del cuaderno para susurrárselo a la persona de al lado.
Lo que queda escrito en el cuaderno se mantiene tal cual mientras nadie lo toque. Por eso, si nadie borra la palabra "hoy" que apareció al principio, llega intacta hasta la última persona de la fila. El susurro que pasa de persona en persona sigue siendo corto y se difumina enseguida, pero lo que hay que retener durante mucho tiempo se lo encarga al cuaderno.
2En detalle
Fluyen dos hilos: el cuaderno y el susurro
Una red recurrente normal solo pasa un resumen en cada turno. LSTM le añade un hilo más. Uno es el susurro que se entrega directo a la persona de al lado; el otro es el cuaderno, que fluye largo a lo largo de toda la fila.
El susurro es lo que hace falta en este momento: se usa de inmediato para predecir la siguiente palabra o para dar una respuesta. El cuaderno guarda lo que podría hacer falta más adelante. Aunque no se use ahora mismo, se sigue llevando de todos modos.
Los dos hilos también recorren caminos distintos. El susurro se recalcula por completo en cada turno y se reemplaza entero; el cuaderno solo recibe retoques de borrado y escritura. Esa diferencia es el corazón de LSTM.
La puerta de borrar: quitar lo que ya no hace falta
La primera puerta revisa el cuaderno y decide qué borrar. Al escuchar la frase nueva, suele aparecer algo de lo anotado antes que ya perdió sentido. Si el protagonista de la historia cambió, no hay razón para seguir aferrado al protagonista anterior.
Borrar no significa vaciarlo todo de golpe. Para cada línea se decide cuánto conservar, con un valor entre 0 y 1: a veces se deja tal cual, a veces se difumina a la mitad, a veces se borra por completo.
La puerta de escribir: solo lo que vale la pena anotar
La segunda puerta elige qué anotar en el cuaderno a partir de lo recién escuchado. Si se anotara todo lo que se oye, el cuaderno se llenaría enseguida, así que solo se elige lo que podría servir más adelante.
Esta puerta se divide en dos partes: una arma el contenido que se va a anotar, y la otra decide con cuánta intensidad anotarlo. Lo que se añade al cuaderno es el producto de esos dos valores. Ese contenido se suma al espacio que dejó libre el borrado del paso anterior, y así el cuaderno queda actualizado una vez más.
La puerta de leer: sacar solo lo que hace falta ahora
La tercera puerta decide qué sacar del cuaderno para susurrárselo a la persona de al lado. No se lee el cuaderno entero en voz alta. Solo se elige y se entrega la parte que hace falta justo en este punto.
Gracias a eso queda repartido el trabajo: el cuaderno recuerda en silencio durante mucho tiempo, y el susurro entrega solo lo necesario en cada turno, y de forma breve. Lo que se ve desde afuera es siempre el valor que salió a través de esta puerta de lectura.
Por qué aguanta mejor los textos largos
En una red recurrente normal, el resumen queda arrastrado por completo dentro del cálculo cada vez que pasa un turno. Si ese proceso se repite decenas de veces, no queda nada del contenido inicial. El cuaderno de LSTM fluye de otra manera: si la puerta de borrar no se abre, el valor del turno anterior pasa casi intacto al siguiente.
Lo mismo pasa durante el entrenamiento. Cuando el error se recorre hacia atrás, este hilo actúa como un atajo, y así la señal llega hasta el principio de la frase. Mientras una red recurrente normal apenas aguanta unas decenas de palabras, LSTM maneja cientos, y por eso durante mucho tiempo fue la opción principal para traducción y reconocimiento de voz.
Aun así, sus límites siguen ahí. Todavía solo puede avanzar palabra por palabra, en orden, así que es difícil concentrar el cálculo, y como lleva tres puertas encima, cada turno pesa más en cómputo.
3Con más precisión
LSTM es una red recurrente que arrastra, turno tras turno, un vector aparte llamado estado de celda, mientras una puerta de olvido, una puerta de entrada y una puerta de salida deciden, cada una con un valor entre 0 y 1, cuánto dejan pasar. Como el estado de celda se actualiza solo con multiplicaciones y sumas, la señal que se recorre hacia atrás no se difumina con tanta facilidad.
La analogía también tiene sus límites. El cuaderno no son frases escritas con letras, sino un conjunto de números, así que aunque una persona lo abriera no podría leerlo. La puerta de borrar tampoco elige una línea concreta para borrarla: decide de una sola vez cuánto conservar en cada posición. Tampoco hay una sola posición que se encargue, de forma clara, del nombre del protagonista.
También se usan mucho variantes que reducen el número de puertas para hacerlo más liviano. Solo cambia la cantidad de puertas y cómo se combinan los hilos; la idea de mantener aparte un hilo que fluye tal cual si nadie lo toca sigue siendo la misma. También se puede combinar libremente con el método de recorrer la frase una vez de principio a fin y otra vez de fin a principio, para juntar los dos resultados.
4Pruébalo
- Performance RNN (composición de piano) ailearn.space Escucha si recupera una melodía que sonó mucho antes y la vuelve a usar más adelante
- A.I. Duet (dueto con una red recurrente) ailearn.space Toca una melodía corta y escucha cómo la continúa; presta atención a cuánto conserva de lo que tocaste al principio
5Malentendidos comunes
Es fácil pensar que LSTM recuerda todo lo anterior, pero en realidad tiene un espacio limitado, así que constantemente tiene que elegir qué conservar.
Es fácil pensar que una persona fija con reglas cuándo se abren y se cierran las tres puertas, pero en realidad el propio entrenamiento aprende cuándo abrirlas y cerrarlas.
Es fácil pensar que LSTM es una estructura completamente distinta de la red recurrente, pero en realidad es el mismo esqueleto, con un hilo de memoria duradero y unas puertas añadidas encima.
7Resumen en una línea
En resumenLSTM gestiona un hilo de memoria duradero con tres puertas que borran, anotan y sacan información en cada turno, y así es una red recurrente que no pierde el hilo ni siquiera en textos largos.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02