Descripción de imágenesImage Captioning
Mirar una foto y escribir su contenido en una frase
- La descripción de imágenes mira una foto y escribe su contenido en una frase. No enumera nombres de objetos: los enlaza en una sola oración.
- Por dentro se encadenan dos tareas: una que lee la imagen como un grupo de números y otra que, con ese grupo, va escribiendo la frase pieza a pieza.
- Aprende con material donde cada foto va emparejada con una descripción. Hace falta una descripción puesta por una persona para saber qué y cómo decir.
- A veces rellena de forma verosímil lo que no está en la imagen. Es frecuente el error de suponer sin mirar, cuando la escena es habitual.
- Se usa donde una línea de descripción resulta útil por sí sola: texto alternativo para personas con dificultad visual, búsqueda de fotos, orden de un álbum.
Contenido
1La analogía
Al poner una diapositiva en un proyector y encender la luz, la imagen aparece en la pared, y quien narra al lado añade una línea: "hay un buzón viejo en medio del campo". Al pasar a la siguiente diapositiva, sigue la siguiente narración.
La descripción de imágenes es esa narración hecha por una máquina: recorre lo proyectado en la pared, separa qué hay, en qué estado y cómo se colocan las cosas entre sí, y lo une en una frase.
Narrar tiene su técnica. Si se enumera sin dejar nada de lo que se ve en la pared, quien escucha se cansa. Pero decir solo "es un paisaje" tampoco ayuda en nada. Decidir qué decir y qué dejar de lado es media narración.
2En detalle
Un lado que lee y un lado que escribe, en pareja
La parte de entrada se ocupa de la imagen. Recorre la foto en trozos pequeños, extrae rasgos de color y forma, y convierte el resultado en varios grupos de números. En esta etapa todavía no aparece ningún idioma: solo queda información del tipo "aquí hay una masa redonda y roja, y debajo una superficie plana".
La parte de salida se ocupa de la frase. Con los grupos de números que le entrega la primera parte, va eligiendo y encadenando el siguiente fragmento de palabra, una y otra vez. Es lo mismo que hace un modelo de texto al elegir el fragmento siguiente mirando la frase anterior, solo que aquí, en vez de una frase anterior, consulta la información de la imagen.
Separar las dos partes tiene su ventaja. La parte que lee imágenes reutiliza todo lo que ya aprendió sobre fotos, y la parte que escribe reutiliza todo lo que ya aprendió sobre el lenguaje. Lo único que hace falta aprender de nuevo es el puente que conecta ambas.
Qué decir y qué dejar pasar
Para la misma foto hay varias descripciones válidas. "Hay una taza sobre el escritorio" es correcto, y "sobre el escritorio junto a la ventana, con luz de mañana, hay una taza humeante" también lo es. Cuál es la mejor la decide el uso que se le vaya a dar.
Para texto alternativo conviene una descripción corta y precisa: alguien que no puede ver la pantalla debe poder formarse la escena al oírla una sola vez. Para buscar fotos conviene lo contrario: una descripción larga y detallada, porque conviene incluir muchas palabras que puedan servir para encontrarla más adelante, sin saber con qué término se buscará.
Por eso, al mismo modelo se le añaden peticiones como "en una frase", "con detalle" o "lee el texto si lo hay", para fijar el tono de la descripción. Sin ninguna petición, sale con la longitud y el estilo más frecuentes en el material de entrenamiento.
Aprende con fotos y descripciones emparejadas
La forma de aprender es simple. Se ponen en pareja una foto y la descripción que puso una persona, se le da la foto y se le pide adivinar esa descripción. Cuando falla, se corrige un poco, y esto se repite cientos de millones de veces.
Por eso el carácter del material de descripciones queda impreso en el resultado. Si abundan las escenas comunes, salen con facilidad las expresiones comunes; si hay pocas fotos de objetos de determinada región o cultura, ante esas fotos la descripción sale vaga. También arrastra las costumbres de habla de quienes pusieron las descripciones.
A veces dice lo que no está en la pantalla
Es la debilidad que más se señala. Ante una foto de cocina, puede decir que hay una olla que en realidad no está, o contar mal el número de platos sobre una mesa. Sucede porque la frase, en vez de trasladar lo visto, se desliza hacia "en una escena así, suele haber esto".
Es especialmente débil con letras pequeñas, con cantidades, con izquierda y derecha, con la distancia entre delante y detrás: todo lo que exige contar o verificar con precisión. Que la descripción se lea con fluidez no significa que sea correcta, así que donde la exactitud importa conviene que una persona la revise antes de usarla.
3Con más precisión
La descripción de imágenes es una estructura que une un codificador, que lee la imagen, con un decodificador, que construye la frase. El codificador divide la foto en varios trozos y convierte cada uno en un vector; el decodificador, mirando esos vectores, elige un token tras otro hasta completar la frase. Hoy esta estructura suele estar integrada dentro de un modelo multimodal que maneja a la vez imagen y texto, así que generar una descripción se procesa como una petición más entre las muchas que se le pueden hacer a ese modelo.
La analogía del proyector también tiene costuras. Quien narra conoce lo que hay fuera de la diapositiva: sabe cuándo y dónde se tomó, qué quiso capturar quien la fotografió, y habla con eso en mente. El modelo solo tiene la información que está dentro de la imagen. Si contara una historia que no aparece en la foto, no sería algo que sabe, sino algo que inventa. Además, quien narra mira la pared y elige las palabras, pero el modelo primero convierte la imagen entera en números y luego escribe la frase pieza a pieza desde el principio, así que si elige mal un fragmento inicial, arrastra a esa dirección el resto de la frase.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que es lo mismo que encontrar objetos en una foto y ponerles nombre, pero en realidad, sobre esa tarea de encontrar objetos, se añade la de enlazar en una frase la relación y la situación entre ellos.
Es fácil pensar que si la descripción suena natural, el contenido también es correcto, pero en realidad que una frase sea fluida y que refleje lo que hay en la pantalla son cosas distintas.
Es fácil pensar que la misma foto siempre da la misma descripción, pero en realidad, según qué longitud y qué tono se pidan, la descripción de una misma foto puede cambiar mucho.
7Resumen en una línea
En resumenLa descripción de imágenes es como narrar junto a una diapositiva proyectada, y una parte que lee la imagen y otra que escribe la frase se unen para producir esa línea.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02