Caso de estudio
Por qué su paso de video con IA es lento y una máquina más potente no lo arregla
El presentador con IA de un equipo de video tardaba mucho más que el propio clip en recortarse. El tiempo se iba en fotogramas que el anuncio terminado nunca muestra, no en la potencia de la máquina.
Puntos clave
- Mida qué paso se lleva el tiempo, y en qué lo gasta, antes de comprar una máquina más potente.
- En este trabajo gran parte del recorte se iba en fotogramas que el anuncio terminado nunca muestra.
- Reutilizar un recorte terminado cuando solo cambian los subtítulos, la música o la disposición puede saltarse el paso lento por completo.
- Un atajo que reduce el tiempo pero deja una falla visible en el video no es un ahorro.
- Un paso automático debería volver al resultado anterior cuando falla, nunca detener el trabajo.
Para un equipo de video, un anuncio que termina tarde significa menos versiones para probar, y cada cambio de estilo de subtítulos o de música significa esperar otra vez. Cuando el procesamiento de video con IA es demasiado lento, la respuesta obvia es una máquina gráfica más potente, y cara. Para un cliente, el tiempo no se iba en potencia de cómputo, y el cambio llegó a su paso de finalización el mismo día.
Lo que le cuesta un paso lento a un equipo pequeño
El costo es la repetición. Un equipo termina un anuncio, luego lo renderiza otra vez con otro estilo de subtítulos u otra música, y espera el mismo tiempo de nuevo.
El reflejo es una máquina gráfica más potente. Aquí la decisión fue al revés: dejar la máquina gráfica que crea al presentador en ese trabajo, y correr el recorte en los procesadores comunes de las máquinas que arman los anuncios.
Los dos estilos que el equipo quería, y por qué eran lentos
Dos estilos comunes compartían un trabajo oculto: separar al presentador de un fondo que no era liso. El equipo quería al presentador de pie sobre el material real, y al presentador pequeño en una esquina mientras se reproducen clips a pantalla completa.
Ninguno se filmó contra un fondo liso. El material del presentador venía con su propio fondo, así que un modelo de IA pequeño tenía que separar la figura de ese fondo en cada fotograma antes de poder colocarla sobre cualquier otra cosa.
La versión anterior funcionaba, y los bordes y el cabello salían limpios. También era lenta: el recorte tardaba mucho más que el propio clip, y un anuncio con el presentador en la esquina tardaba mucho más que el mismo anuncio a pantalla completa.
Por qué el procesamiento de video con IA era tan lento aquí
El modelo hacía un trabajo cuidadoso en fotogramas que el anuncio terminado nunca muestra. Nuestro ingeniero midió antes de cambiar nada.
En una máquina inactiva, el modelo solo tardaba una fracción de segundo por cada fotograma. Se probaron y se cronometraron los trucos habituales, incluido correr varias copias del modelo en paralelo, mantener los procesadores siempre ocupados, y un modelo más liviano y menos preciso. Cada uno fue más lento, no más rápido.
El punto de giro vino de mirar qué muestra realmente un anuncio. Cada línea hablada se graba como una toma, pero un anuncio reproduce solo una parte, y la figura recortada aparece solo mientras un clip se reproduce detrás o al lado. En el anuncio de prueba, muchos fotogramas de las tomas habladas nunca aparecían en pantalla, y la figura se dibujaba sobre aún menos. De todos modos se recortaba cada fotograma.
Qué cambiamos
El recorte ahora sigue la propia lectura que el reproductor de video hace de cada línea, y envía al modelo solo los fotogramas donde la figura se dibuja sobre un clip, con un pequeño margen a cada lado. El archivo de recorte termina en el último fotograma que se necesita. Donde el presentador está pequeño en la esquina, la figura se lee a menor resolución, que el modelo maneja más rápido.
Dos cosas protegen el resto del trabajo. Una línea cuyo recorte falla, o que no tiene nada delante donde colocarse, se reproduce como antes, así que una falla nunca detiene un anuncio. Y como el equipo a menudo renderiza el mismo anuncio otra vez con otro estilo de subtítulos, otra música u otra disposición mientras las líneas y los clips siguen iguales, cada recorte terminado ahora se guarda en la máquina, almacenado con un nombre ligado al material del que salió. Un segundo render lo lee de vuelta sin correr el modelo en absoluto. Los recortes guardados se revisan antes de almacenarse, se borran con regularidad y tienen un tope de tamaño total, y los más antiguos sin usar salen primero.
Un atajo se midió y se descartó. Saltarse fotogramas alternos habría vuelto a reducir el tiempo, pero deja un segundo contorno tenue cuando el presentador mueve las manos rápido, y eso se ve en un anuncio.
Lo que el equipo de video tiene ahora
Ambos estilos están activos en la plataforma del cliente, disponibles para el equipo de video en su paso de finalización, y no se agregó ninguna máquina gráfica. En el anuncio de prueba con el presentador en la esquina, tanto el recorte del presentador como el render completo se volvieron más rápidos. Un anuncio a pantalla completa sin recorte siguió siendo la comparación más rápida.
Una medición posterior en una máquina mostró a dónde va la diferencia restante: una parte grande en el recorte, y una parte menor en dibujar la figura. Todos los demás estilos, y todo anuncio sin recorte, se renderizan exactamente como antes.
Lo que usted puede revisar por su cuenta
- Pregunte a su equipo cuánto tarda un video desde el montaje terminado hasta el archivo final, y con qué frecuencia renderizan el mismo video otra vez con pequeños cambios.
- Pregunte a quien maneja su procesamiento automático qué pasos tardan más tiempo, medido y no supuesto.
- Antes de aceptar una máquina más potente, pregunte si el paso lento trabaja sobre todo o solo sobre lo que ve el cliente.
- Pregunte qué pasa cuando el paso automático falla en una pieza: si el resto continúa o se detiene todo el trabajo.
- Pregunte si un segundo render del mismo video reutiliza algo del anterior, o empieza desde cero.
Qué hacer ahora
Empiece con un cronómetro y una pregunta: en qué está trabajando el paso lento, y si el espectador llega a ver ese trabajo. Si la respuesta es no, el ahorro no cuesta nada y no necesita hardware. Rastrear un paso lento hasta el trabajo que realmente hace, antes de que alguien gaste en máquinas, es el tipo de trabajo que nuestros ingenieros hacen para los clientes.
Preguntas frecuentes
¿Por qué tarda tanto renderizar el mismo video otra vez?
A menudo porque todo se rehace desde cero, incluidas las partes que no cambiaron. En este trabajo las líneas y los clips seguían iguales entre renders, así que un segundo render del mismo anuncio podía leer de vuelta los recortes terminados en lugar de correr el modelo otra vez. Si su equipo renderiza de nuevo solo con un nuevo estilo de subtítulos, música o disposición, vale la pena preguntar si el paso lento se está repitiendo sin necesidad.
¿Una tarjeta gráfica más rápida arreglaría un paso de video con IA lento?
No necesariamente. En este caso la máquina gráfica ya era la herramienta correcta para crear al presentador con IA, y el recorte corría en los procesadores comunes de las máquinas que arman los anuncios. Correr varias copias a la vez, mantener los procesadores totalmente ocupados y un modelo más liviano se midieron cada uno y fueron más lentos, no más rápidos.
¿Podemos saltarnos fotogramas para que el recorte sea más rápido?
Puede hacerlo, y vuelve a reducir el tiempo, pero el resultado puede notarse: saltarse fotogramas alternos dejó un segundo contorno tenue cuando el presentador movía las manos rápido. En este trabajo se midió y se descartó. Saltarse el trabajo en fotogramas que nunca aparecen en el anuncio terminado es otra cosa, porque nada cambia en lo que ve el espectador.
¿Qué pasa si el recorte automático falla en una línea?
Aquí la línea se reproduce como antes, sin el recorte, así que una falla nunca detiene todo el anuncio. Es una buena pregunta para hacerle a quien maneja un paso automático para usted: una falla en una pieza no debería frenar el resto del trabajo.