Sincronización labialLip Sync

Se mira el timbre del sonido, no las letras

No se suele usar el método de construir la boca a partir del guion escrito, porque la misma frase la dice cada persona a una velocidad distinta, con alargamientos, respiraciones o risas de por medio. Una boca hecha solo a partir de las letras se va desajustando cada vez más del sonido real.

Por eso se usa el sonido mismo como material. Al cortar la voz en trozos cortos y extraer qué altura de sonido hay y con cuánta fuerza, ahí ya está el instante en que la boca se abre y el instante en que se cierra: en un tramo de silencio se cierra, y donde el sonido estalla, se abre.

Los tramos sin habla también importan. Cómo se mueve la boca al inspirar o en una pausa breve influye en lo natural que se ve el resultado; si se queda del todo inmóvil, parece un muñeco.

La forma de la boca la arrastran los sonidos de alrededor

Si se fija una única forma de boca por cada sonido y se van cambiando en orden, queda rígido y raro, porque la boca humana empieza a prepararse para el sonido siguiente con antelación: si después viene un sonido redondeado, ya se va redondeando un poco mientras todavía se produce el anterior.

Por eso no se mira solo el sonido del instante actual, sino que se decide la forma mirando también unos instantes antes y después. Al generarlo en tiempo real hace falta recibir el sonido con un pequeño adelanto, y eso trae un pequeño retraso; con sonido ya grabado se puede ver todo de antemano, así que este problema no aparece.

Por la misma razón, cuando se habla más rápido, la boca no llega a abrirse del todo antes de pasar a la siguiente forma. Hasta ese achatamiento hay que imitarlo para que parezca que una persona está hablando de verdad.

El método de cambiar solo la boca

Si se rehace la cara entera, es fácil que la mirada o el movimiento de la cabeza salgan raros. Por eso se usa mucho el método de dejar el video original tal cual y volver a dibujar solo la boca y el mentón: al conservar la iluminación y la textura de la piel original, el resultado sale más natural.

Aquí lo difícil es unir con suavidad el borde entre la parte cambiada y la que se dejó igual: una diferencia de color ahí se ve como una mancha alrededor de la boca, sobre todo cuando la cabeza gira mucho o una mano la tapa.

El ojo nota el desajuste antes que nada

Cuánto pueden desajustarse el sonido y la imagen antes de que se note es mucho más estrecho de lo que parece. Con el sonido llegando después de la imagen la gente es relativamente tolerante, porque un sonido lejano naturalmente llega con retraso; al revés, si el sonido llega antes, la sensación de que algo está mal aparece mucho más rápido.

Por eso, al ajustar la sincronización, es más seguro dejar la imagen un poquito adelantada respecto al sonido. También se sabe que un desajuste que cambia de un tramo a otro molesta mucho más que uno constante y parejo en todo el video.

Con otra voz, en otro idioma

Uno de los usos más importantes de la sincronización labial es el doblaje. Si se rehace la forma de la boca siguiendo una voz grabada de nuevo en otro idioma, parece que la persona habló ese idioma desde el principio, sin subtítulos. Se usa para publicar clases o videos informativos en varios idiomas, y también para darle voz a un personaje animado: lo que antes se dibujaba a mano cuadro por cuadro, ahora se genera a partir del sonido.

Pero también significa que se pueden poner, en el rostro de una persona real, palabras que nunca dijo. Combinada con la tecnología que imita voces, se pueden crear videos donde parece que alguien dijo algo que jamás dijo. Por eso van de la mano marcar que un video es generado y pedir el consentimiento correspondiente.