Saltar al contenido
Profesor Saitama

Sincronización automática de labios en Toon Boom Harmony

LipSync Toon Boom Harmony

Uno de los procesos más tediosos cuando hacemos animación, es que la pista de voz grabada nos coincida perfectamente con los movimientos de los labios de un personaje. Es una cosa que se puede hacer manualmente, pero si hacemos un proyecto un poco grande nos va a desesperar.

Para ello, Toon Boom nos ofrece una herramienta para hacer un Lip Sync, o lo que es lo mismo, el programa de animación detecta automáticamente los movimientos de la boca con nuestra pista de audio.

Este proceso de Lip Sync, analiza el contenido de una pista de sonido de la escena y asocia cada fonema que detecta con una de las formas de boca de la carta de fonemas, que es una carta de fonemas estándar de la industria de la animación.

Si queremos realizar una sincronización de labios automáticamente, lo primero que debemos hacer es importar la pista de voz a Toon Boom.

¿Cómo importar una pista de audio a Toon Boom Harmony?

Lo básico para que esto funcione bien es tener una pista de audio bien limpia. ¿Qué quiere decir eso? Que la pista de audio contenga únicamente la voz del personaje que queremos que se sincronice. Nada de música de fondo u otras voces de otros personajes.

Lip Sync en Toon Boom Harmony estilo cartoon

Para importar la pista de sonido, haremos clic en «Archivo» > «Importar» y «Sonido».

Importar sonido en Toon Boom Harmony

NOTA: Toon Boom Harmony puede importar los siguientes formatos de audio: .wav, .aiff y .mp3.

NOTA: Si la pista de audio es más larga en duración que la misma escena, ésta no se hará más larga, sino que dejará de sonar la pista de audio una vez llegue al final de la línea de tiempo.

El archivo de sonido que hayas importado, tendrá una forma onda en la línea de tiempo y se representa de la siguiente forma:

Pista de audio en Toon Boom Harmony

Detección automática de sincronización de labios

Una vez que tenemos nuestro audio en el programa y tenemos el personaje, debemos crear una capa nueva que llamaremos «Boca» y dibujar todas y cada una de las siguientes posiciones:

Fonemas estándar de la industria de la animación

Verás que cada posición de la boca tiene una letra asociada, pues bien, en la capa que hemos creado «Boca» hay que añadirle estos 8 dibujos con sus respectivos nombres.

Haremos como ejemplo la primera posición. Para ello nos vamos a la capa de «Boca» y en «Dibujo» clicaremos en «Crear Dibujo vacío» o podemos preciosar directamente «Alt+May+R.

Esto nos crea un dibujo nuevo en la capa de Boca y de esta forma dibujar la primera posición.

Luego, tenemos que indicar al programa que este dibujo se llama «A». Para ello haremos lo siguiente:

Volver a la opción de Dibujo en la barra de herramientas y pulsar sobre «Cambiar nombre de dibujo» o presionar la tecla «Ctrl+D».

De esta forma, nos deja cambiar el nombre del dibujo de «1» a «A».

Solo falta acabar ahora con las siguientes 7 posiciones para hacer un total de los 8 dibujos.

NOTA: Las letras de los dibujos no se corresponden con los sonidos, sino que son letras estándar para identificar los movimientos de la boca.

Esto sería una aproximación de los fonemas de cada forma de la boca que puede representar:

  • A: m, b, p, h
  • B: s, d, j, i, k, t
  • C: e, a
  • D: A, E
  • E: o
  • F: u, oo
  • G: f, ph
  • X: silencio, sonido indeterminado

Bien, este proceso automático de detección de labios, no hara que Toon Boom haga dibujos de posiciones, sino que pondrá en la línea de tiempo, la posición de la boca correspondiente a cada sonido que detecta de la pista de audio. De esta forma rellena con frames toda la barra de tiempo.

Realizar el Lip Sync en Toon Boom Harmony

Una vez que tenegamos la pista de audio, más la pista de dibujo Boca, más la pista de dibujo del personaje, veremos algo así:

Para decirle ahora al programa que analice la pista de audio, haremos clic derecho en la pista de audio (en cualquier lugar del dibujo de la onda de sonido) y seleccionamos la opción «Sincronización de labios» > «Detección automática de sincronización de labios».

Con esto, el programa analiza la onda de audio y solo nos faltaría decirle a que capa aplicar este movimiento.

Para ello, volvemos a la misma opción pero esta vez clicamos en «Asignar sincronización de labios».

Ahora nos mostratá el programa que a qué capa queremos aplicarle este movimiento de audio:

Como puedes ver, en la caja de «Asignación de sincronización de labios» nos deja elegir la capa de origen (aquí pondremos la pista de audio) y la capa de destino (aquí pondremos la capa Boca) que es donde se aplicarán los dibujos.

Una vez realizado el proceso, el programa carga los frames y mira ahora la barra de tiempo en Toon Boom:

Toon Boom Harmony ha rellenado todos los frames automáticamente con los movimientos de boca correspondientes al audio que le hemos indicado.

Con esto, ya hemos aprendido a detectar la boca de forma automática pero… esto queda muy estilo cartoon, ¿verdad?

Si quieres hacer esto mismo pero como si fuera un anime, ¿cómo se haría? ¡Aquí estoy para explicarte un truco más!

Cómo sincronizar labios automáticamente en Toon Boom con estilo anime

Si te has fijado, en el ejemplo anterior, hemos usado 8 posiciones de boca y por eso queda un efecto muy bonito pero se nota que es estilo cartoon. Si quieres un estilo anime, necesitas solo 3 posiciones de boca.

En el siguiente vídeo de mi canal de Youtube, explico como hacer un Lip Sync pero enfocado al anime. ¡No tiene desperdicio!

Espero que este truco os sirva para usar Toon Boom Harmony también en vuestros proyectos de anime.

Si quieres más trucos de Toon Boom Harmony o de animación en general, mira mi canal de Youtube en el que explico muchísimas cosas de este tremendo mundillo.

NOTA: Para este proceso, si necesitas disponer de un audio limpio, te recomiendo que leas el artículo en el que explico cómo separar la voz de una canción o sonido. De este modo, podemos limpiar el audio para que quede limpio y Toon Boom Harmony pueda realizar el proceso de movimiento de la boca de forma correcta.

Otras clases del curso Toon Boom Harmony

Agregar efectos a una escena en Toon Boom Harmony

En esta serie de tutoriales de Toon Boom Harmony ya hemos aprendido…

Cómo animar una Cámara en Toon Boom Harmony

En la lección anterior os mostré un método para ahorrar trabajo a…

Fotograma clave y peg en Toon Boom Harmony

En la anterior lección aprendimos a utilizar las paletas de colores, como…

Cómo crear una escena en Toon Boom Harmony

Crear una escena en Toon Boom Harmony ¡Por fin iniciamos la aventura!…