Seguimiento de manosHand Tracking
Seguir de un cuadro a otro el lugar de los nudillos de la mano
- El seguimiento de manos es marcar un punto en la muñeca y en cada nudillo, y volver a marcarlo cuadro a cuadro para ir uniendo esos puntos. No trabaja con una sola foto: trabaja con un flujo.
- Para una mano se usan habitualmente veintiún puntos: uno para la muñeca y cuatro por cada dedo.
- Si ya se sabe dónde estaba la mano en el cuadro anterior, en el cuadro siguiente alcanza con mirar esa zona. Gracias a esto corre en tiempo real hasta en un teléfono.
- Si la mano sale de pantalla o queda tapada y se pierde el rastro, se vuelve a la etapa de buscarla desde cero.
- Los puntos tiemblan un poco en cada cuadro. Mezclando cuadros vecinos se suaviza el temblor, pero la respuesta se atrasa un poco.
Contenido
1La analogía
En un apagón, seguro alguna vez recorriste el cuarto con una linterna. El círculo de luz apenas alcanza para una palma, y si lo que querés tener adentro se mueve todo el tiempo, hay que mover la linterna sin parar detrás de eso. El truco es mirar dónde está la luz ahora mismo y adivinar hacia dónde va a moverse el instante siguiente, girando la muñeca de a poquito por adelantado.
Lo bueno de esto es que no hace falta recorrer todo el cuarto cada vez. Alcanza con mirar los alrededores del lugar recién iluminado, así que el brazo descansa y la respuesta es rápida. Pero si lo que seguís se mete detrás de un mueble o sale por la puerta, el truco deja de servir. Ahí hay que abrir bien el haz y recorrer el cuarto entero desde cero otra vez.
Tampoco conviene girar la linterna a los tirones. Si el círculo salta de golpe, cuesta saber qué está iluminando, así que aunque sea un poco más lento conviene moverla con suavidad. Eso, manejar la linterna así, es lo que hace el seguimiento de manos.
2En detalle
No trabaja con una foto: trabaja con un flujo
Marcar un punto en los nudillos de una mano sobre una sola foto y seguir una mano en un video son objetivos distintos. Lo primero responde a "¿dónde está ahora?". Lo segundo responde a "¿a dónde se movió esa mano de recién?". Para lo segundo hace falta recordar el resultado del cuadro anterior.
Para una mano se suelen usar veintiún lugares: la muñeca, y cuatro nudillos por cada uno de los cinco dedos, desde la base hasta la punta. Estos veintiún puntos se marcan de nuevo en cada cuadro, y se unen con los del cuadro anterior para formar una huella.
El número queda fijo: como el que indica la punta del pulgar es siempre igual, se puede comparar directamente el pulgar del cuadro anterior con el del actual. Esa resta produce información del tipo "el pulgar se movió tres unidades hacia arriba".
Si se sabe el cuadro anterior, el área a buscar se achica
Buscar la mano en toda la pantalla es pesado. En cambio, si ya se sabe el cuadro donde estaba la mano, en el cuadro siguiente basta con mirar ese cuadro un poco ampliado: casi siempre la mano sigue ahí adentro. La mano de una persona no se teletransporta al lado opuesto de la pantalla de un cuadro a otro.
Por eso las herramientas reales corren dos etapas separadas. La etapa pesada de buscar la mano por primera vez se corre solo de vez en cuando, y la etapa liviana de marcar los nudillos se corre en cada cuadro. Mientras el seguimiento va bien, hasta se puede saltear del todo la etapa pesada.
Gracias a esta estructura, se pueden procesar decenas de cuadros por segundo incluso en un navegador o un teléfono con poca capacidad de cálculo. Por eso, al abrir una herramienta de prueba, reconocer la mano tarda un instante al principio y después todo fluye con suavidad.
Si se pierde, vuelve a buscar desde cero
El seguimiento se puede cortar en cualquier momento: cuando la mano sale de pantalla, queda tapada por el cuerpo, se mueve tan rápido que solo deja un borrón, o se cruza con la otra mano. Ahí hace falta un mecanismo que note que se cortó.
La forma de notarlo es el valor de confianza. Si el de todos los nudillos se cae de golpe, no hay mano en el lugar que se está mirando: se abandona el área acotada y se vuelve a recorrer toda la pantalla desde cero.
Descuidar esta vuelta atrás trae problemas raros, como que el sistema siga rebuscando cerca del último lugar y termine pegando el punto al dibujo del empapelado aunque la mano ya salió de pantalla. Al revés, si es demasiado sensible, la pantalla se corta cada vez que la mano se ve borrosa un instante.
Bajar el temblor atrasa la respuesta
Aun con la mano quieta, los puntos tiemblan un poco: como cada cuadro se calcula por separado, se desvían unos pocos píxeles, y ese desvío se ve como temblor. Para una función que dibuja siguiendo la punta del dedo, esto ensucia la línea.
Por eso se mezcla la posición del cuadro anterior con la actual para suavizar el resultado. Si se le da más peso al cuadro anterior, la imagen queda muy fluida, pero cuando la mano se mueve rápido el punto parece llegar tarde. Si se le da más peso al cuadro actual, la respuesta es rápida pero queda temblor.
La respuesta correcta depende del uso. Una función para dibujar elige el lado suave; una función para pasar pantallas con un gesto elige el lado rápido. Si en una herramienta de prueba, al frenar la mano de golpe, el punto parece seguir deslizándose un poco, es este suavizado en acción.
3Con más precisión
Lo que entrega el seguimiento de manos es la posición horizontal y vertical de cada nudillo, más un valor de confianza, y muchas herramientas también indican si la palma mira hacia adelante o hacia atrás, y si es la mano izquierda o la derecha. Algunas también estiman la distancia hacia adelante para tratar la mano en tres dimensiones, aunque con una sola cámara este valor tiembla especialmente.
Al hablar de precisión hay que separar dos cosas: cuánto se desvía un punto del nudillo real, y cuánto tiempo se mantiene el seguimiento sin cortarse. Un buen valor en lo primero no sirve de mucho si se corta seguido.
También hay un punto donde la analogía se queda corta. La linterna solo tiene que mover un círculo, pero el seguimiento de manos sigue veintiún nudillos a la vez y vigila que formen una disposición posible en una mano. Además, lo que ilumina la linterna se ve tal cual, pero acá hay que volver a calcular y adivinar la posición dentro del área acotada, y la mano cambia de dirección de golpe y hasta se pliega sobre sí misma, así que esa suposición falla seguido. Por eso el área que se mira siempre se deja bastante amplia.
4Pruébalo
- Hands (manos) ailearn.space Mueve la mano despacio y después agítala rápido: vas a notar cuándo el punto sigue el ritmo y cuándo se atrasa
- Defrosting (limpiar la escarcha con la mano) ailearn.space Solo se limpia la escarcha por donde pasó la mano. Fíjate qué pasa si sacas la mano de la pantalla y la vuelves a meter
5Malentendidos comunes
Es fácil pensar que el seguimiento de manos también averigua el significado del gesto, pero en realidad solo entrega el lugar de los nudillos; un juicio como "está saludando" o "hace la señal de victoria" lo toma después el reconocimiento de gestos.
Es fácil creer que una vez reconocida la mano, el seguimiento sigue para siempre, pero en realidad se corta si queda tapada o sale de pantalla, y ahí vuelve a la etapa de buscarla desde cero.
Es fácil suponer que el temblor de los puntos es señal de mal rendimiento, pero en realidad es algo que siempre ocurre por calcular cada cuadro por separado; se reduce con suavizado, a cambio de un poco de velocidad de respuesta.
7Resumen en una línea
En resumenEl seguimiento de manos marca los nudillos de la mano en cada cuadro y los va uniendo, y gracias a que recuerda el cuadro anterior corre liviano y rápido.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02