Reconocimiento de gestosGesture Recognition
Leer un movimiento de mano o cuerpo como un significado fijo
- El reconocimiento de gestos es el paso que convierte la posición de los puntos y su movimiento en un significado único, definido de antemano. Viene después de marcar los puntos.
- Solo se reconoce lo que está registrado en una lista. Un gesto que no está en la lista se ignora o se confunde con el más parecido.
- Una forma quieta y un movimiento se tratan distinto: la primera se juzga con un solo cuadro, y el segundo, uniendo varios cuadros.
- Lo más difícil no es el veredicto en sí, sino cortar dónde empieza y dónde termina un gesto.
- Para que un gesto de paso no dispare un comando sin querer, se usan trucos como mantenerlo un momento, un umbral de confianza y un gesto de cancelar.
Contenido
1La analogía
El silbato de un árbitro tiene un solo sonido, pero avisa muchas cosas distintas. Es porque un pitido corto, dos pitidos cortos y uno largo tienen significados distintos, fijados de antemano. Un pitido suelto no significa nada por sí mismo: el significado lo dan la duración y la cantidad.
Las combinaciones que no están fijadas no provocan nada. Aunque alguien silbe desde la tribuna, el partido no se detiene, y si el árbitro se equivoca y suelta medio pitido corto, tampoco cuenta como señal. Solo lo que está en la lista es señal; lo demás es ruido.
Por eso es tan importante cortar bien dónde empieza y termina cada sonido. Que dos pitidos cortos sean una sola señal, o que sean dos señales de un pitido corto seguidas, se decide por el intervalo entre ellos. Eso, esa lectura, es lo que hace el reconocimiento de gestos.
2En detalle
Es el paso que cruza de posición a significado
La etapa anterior solo entrega números: dónde están los nudillos, cuánto se abre el brazo. Con esos valores solos no pasa nada todavía. El reconocimiento de gestos toma ese puñado de números y lo convierte en una sola palabra, como "siguiente" o "pausa".
Hay dos formas de hacer esa conversión. Una es que una persona escriba las reglas: si solo el índice está más arriba que los demás dedos y el resto está doblado, es señalar. Fácil de armar y de explicar, pero se desarma si la forma de la mano cambia apenas un poco.
La otra es reunir ejemplos y dejar que el sistema aprenda. Mostrando miles de veces cómo distintas personas hacen el mismo gesto a su manera, aguanta diferencias difíciles de anotar como regla, aunque es más difícil de explicar y agregar un gesto nuevo obliga a reunir datos otra vez.
Una forma quieta y un movimiento son distintos
Una forma quieta se juzga con un solo cuadro. Cuántos dedos están extendidos, hacia qué lado mira la palma: son cosas que se deciden solo con la disposición de ese instante. Piedra, papel o tijera, o el pulgar hacia arriba, entran acá. El cálculo es liviano y hay pocos errores.
Un movimiento es otra historia. Agitar la mano de un lado a otro y que la mano pase por casualidad se ven idénticos en un solo cuadro. Hay que unir varios cuadros y mirar la dirección, la velocidad y si se repite el recorrido para poder distinguirlos. El gesto de pasar pantalla o el de dibujar un círculo entran acá.
Muchas herramientas mezclan los dos tipos. Se activa una función con una forma quieta y después se ajusta un valor con el movimiento que sigue. Fijar la forma de la mano y después moverla hacia los lados para cambiar el volumen es una estructura así.
¿Dónde empieza y dónde termina un gesto?
El problema más difícil en la práctica no es el veredicto, sino el corte. La cámara manda cuadros sin parar, y en ese flujo continuo hay que encontrar por cuenta propia dónde empieza y termina el gesto. Las personas mezclan un montón de movimientos sin significado entre un gesto y otro.
Una solución habitual es fijar una señal de inicio. Tomar como inicio el momento en que se levanta la mano, o empezar a contar recién cuando aparece cierta forma de mano. Cumple el mismo papel que el intervalo que se deja antes y después del pitido de un silbato.
Otra solución es mirar siempre una ventana superpuesta. Sosteniendo los últimos segundos de video y revisando una y otra vez si adentro hay algún gesto registrado. No hace falta una señal de inicio, pero hay que dejar una pequeña pausa después de reconocer un gesto para que el mismo gesto no se reconozca varias veces seguidas.
Se protege contra activarse sin querer
El error más molesto en una función controlada por gestos no es el que no se entiende, sino el que ejecuta un comando que nadie pidió. Si al estirar la mano para agarrar algo la pantalla cambia sola, hay que volver atrás.
Por eso se ponen varias capas de protección. Solo se acepta si el valor de confianza supera un umbral, solo se envía como comando si el mismo veredicto se repite varios cuadros seguidos, y después de ejecutar un comando no se acepta uno nuevo por un momento. A veces se agrega también un gesto propio para deshacer.
Si el umbral se aprieta demasiado, bajan los errores, pero la respuesta se vuelve lenta y aparece la molestia de tener que repetir el gesto. Ese equilibrio depende del uso: una función para pasar pantalla con las manos mojadas mientras se cocina puede ser más laxa; un gesto que confirma un pago debe ser muy estricto.
3Con más precisión
El reconocimiento de gestos suele tratarse como un problema de clasificación. Se elige uno entre unos pocos nombres fijados de antemano, y a cada nombre se le asigna un valor de confianza. Para tratar el movimiento se usa una estructura que junta las coordenadas de los puntos de varios cuadros recientes en un solo bloque y mira también el orden. Agregar una categoría de "ninguno de los anteriores" y entrenarla junto con las demás ayuda bastante a reducir las activaciones sin querer.
También importa que el significado de un gesto cambia con la cultura y la situación: uno común en cierta región puede resultar de mal gusto en otra, así que al armar la lista conviene pensar en quién la va a usar. Como hay quien no puede mover las manos con libertad, también conviene ofrecer otra forma de control además de los gestos.
También hay un punto donde la analogía se queda corta. Quien sopla un silbato conoce la señal y sopla a propósito; frente a la cámara, en cambio, se pasa mucho más tiempo moviéndose sin ninguna intención de dar una orden, así que la proporción entre señal y ruido es distinta. Y un pitido o suena o no suena, sin dudas, pero un gesto es más ambiguo entre "sí" y "no": varía en tamaño y velocidad según la persona, así que hay que sopesar en cada instante, con una probabilidad, si se acepta o se ignora.
4Pruébalo
- 2048 controlado por gestos ailearn.space Fíjate en qué orden se convierten cuatro gestos en cuatro comandos, y qué pasa cuando el gesto queda a medio camino
- Piedra, papel o tijera con machine learning ailearn.space Solo reconoce tres formas de mano registradas de antemano; probá hacer una forma que no esté en la lista y mirá qué pasa
5Malentendidos comunes
Es fácil pensar que si funciona el seguimiento de manos, el reconocimiento de gestos también funciona solo, pero en realidad marcar los puntos y leer el movimiento de esos puntos como un significado son etapas separadas.
Es fácil creer que se reconoce cualquier gesto, pero en realidad solo se reconocen los movimientos registrados en la lista; el resto se ignora o se confunde con el más parecido.
Es fácil suponer que si el reconocimiento anda mal es culpa de la cámara, pero en realidad el problema de cortar dónde empieza y termina el gesto, y de fijar el umbral que evita activaciones sin querer, suele ser la causa más grande.
7Resumen en una línea
En resumenEl reconocimiento de gestos compara el recorrido que dibujan los puntos con una lista registrada y lo convierte en un comando, y lo difícil está en cortar bien dónde empieza y termina el gesto.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02