Caso de estudio
Cuando la herramienta de video con IA cambió su interfaz, los anuncios se detuvieron
Las líneas de presentador dejaron de generarse mientras la pantalla seguía prometiendo un tiempo de entrega de unas horas, y los clips verticales salían anchos. Qué provocó un cambio silencioso en un servicio de video con IA y cómo revisarlo.
Puntos clave
- Un servicio que cambia sus pantallas por lo general no avisa a nadie, así que la única revisión confiable es lo que su automatización produjo realmente.
- Una automatización puede leer un botón ausente como un hecho sobre la cuenta, lo que convierte un pequeño cambio de pantalla en trabajo que nunca empieza.
- Mantener una cuenta fuera de la automatización le da un lugar seguro para ver el servicio tal como es hoy.
- Un tiempo de entrega calculado a partir de la velocidad pasada es peor que un mensaje claro que diga que el trabajo está detenido en el servicio, con la razón.
- Antes de renunciar a algo que le importa al dueño, revise si un paso posterior del proceso ya se encarga de eso.
Los presentadores de los anuncios dejaron de generarse. Nada falló y no apareció ningún error: las líneas simplemente esperaban, mientras la pantalla seguía mostrando un tiempo de entrega de unas horas. Al mismo tiempo, los clips cortos de fondo que debían ser verticales para los celulares empezaron a salir anchos.
Así se ve una falla silenciosa cuando su trabajo diario depende del software de otra empresa. En el caso de un cliente, nuestro ingeniero rastreó el problema hasta un cambio que el servicio de video con IA había hecho en sus pantallas, y logró que la automatización funcionara con las pantallas antiguas y con las nuevas en unas ocho horas de un mismo día.
Trabajo que se detuvo sin fallar
El equipo de video del cliente hace sus anuncios con un servicio externo de video con IA, que se maneja de forma automática a través de muchas cuentas de ese servicio. Cuando los presentadores se detuvieron, nada en el proceso reportó una falla. La pantalla seguía prometiendo un tiempo de entrega de unas horas, así que un equipo que miraba esa pantalla no tenía motivo para buscar un problema. Un anuncio estuvo casi un día sin su clip de presentador mientras su pantalla seguía prometiendo unas horas.
Otras fallas ocurrieron al mismo tiempo. Los clips de fondo pedidos en formato vertical salían anchos, y de vez en cuando una solicitud llegaba al servicio solo con la foto y sin las palabras. Las palabras perdidas costaban doble: el clip sale mal y, además, el intento ya se había consumido de lo que la cuenta tiene permitido.
Cuando la herramienta de video con IA cambió su interfaz
El servicio estaba pasando cuentas a una nueva interfaz, unas cuantas a la vez, durante aproximadamente una semana. La automatización estaba construida sobre la anterior, y leía cada botón ausente como un hecho sobre la cuenta y no como un cambio en la pantalla. Un menú de voces ausente se convertía en una cuenta sin voces. Un menú de forma de imagen ausente se convertía en ninguna instrucción. Un cuadro de texto vacío se convertía en una solicitud lista para enviar.
Este es el riesgo normal de construir sobre el software de otra empresa, y es la razón por la que un resultado equivocado de la automatización es más difícil de detectar que una automatización que dejó de funcionar tras una actualización. Un trabajo que falla se nota. Un trabajo que termina y produce algo equivocado parece trabajo hecho.
Una herramienta de terceros cambió sin avisar, y la automatización siguió adelante con confianza. Como las pantallas llegan de a pocas cuentas, compañeros del mismo servicio pueden estar viendo cosas distintas el mismo día.
Cómo lo encontró nuestro ingeniero
El rastro empezó con las líneas de presentador. La automatización había marcado una parte cada vez mayor de las cuentas como sin voces, así que no les daba trabajo de presentador, aunque las voces de esas cuentas estaban bien.
Abrir una de esas cuentas a mano fue el punto de giro. La nueva interfaz del servicio ya estaba puesta, y en ella el creador de video es una habilidad dentro de un chat; el menú que antes listaba las voces ya no existe. Un menú ausente se había leído como una cuenta sin voces.
Antes de tocar nada, agregamos una forma de sacar una sola cuenta del trabajo automático, para que una persona pudiera usarla a mano sin que la automatización interviniera. Esa cuenta mostró entonces las otras fallas con claridad. La nueva interfaz no tiene menú para la forma de la imagen, así que un clip pedido solo con palabras salía ancho. Y el cuadro donde se escriben las palabras a veces quedaba vacío, así que la solicitud salía solo con la foto. Antes de la corrección, cerca de nueve de cada diez clips de fondo verticales hechos en cuentas con la nueva interfaz habían salido anchos.
Qué cambiamos
La automatización ahora funciona con ambas interfaces. En la nueva, la forma vertical se dice en las palabras de la propia solicitud, un video vertical, más alto que ancho, lo que le da al clip vertical lo que antes daba el menú antiguo.
Ahora las palabras se leen de vuelta desde el cuadro antes de enviar la solicitud. Si no están, se escriben de nuevo y luego se pegan de una segunda manera; si aun así no se quedan, no se envía nada y el registro anota lo que contenía el cuadro. De esa forma no se consume un intento en una solicitud que lleva solo una foto.
Se quitaron las marcas equivocadas de "sin voces".
El tiempo de entrega ya no engaña. Un anuncio sin un nuevo clip de presentador durante 45 minutos ahora se muestra como detenido en el servicio de video, con la razón en palabras claras, y los anuncios que esperan detrás también lo indican.
La decisión sobre la voz
La parte más difícil fue la voz, y la respuesta vino del dueño. En la nueva interfaz, una voz solo se puede definir describiéndola con palabras, y eso da la voz propia del servicio para la foto en lugar de la que eligió el equipo.
La primera instrucción del dueño fue que la voz nunca debía cambiar, así que a las cuentas con la nueva interfaz no se les dio ningún trabajo de presentador. Luego el dueño señaló algo que no habíamos considerado: en todos los anuncios hechos durante diez días, la voz elegida se aplicaba después de todos modos. Con eso a la vista, los anuncios se vuelven a hacer en cualquier cuenta con la voz descrita en palabras, y solo el trabajo que debe conservar la voz propia del servicio se queda en la interfaz antigua.
Lo que el negocio tiene ahora
El cambio está activo en la plataforma del cliente desde esa misma noche. En pruebas hechas a mano en la cuenta que habíamos apartado, las líneas de presentador salieron en bastante menos de un minuto cada una, con la voz descrita, y un clip de fondo pedido como vertical salió vertical. Los presentadores estuvieron detenidos alrededor de un día antes de encontrar la causa; la pausa para el uso manual, la voz, el cuadro de texto, la forma de la imagen y el tiempo de entrega honesto se construyeron en unas ocho horas de un mismo día.
Todavía no se ha medido una semana completa de anuncios hechos desde entonces, así que no hay nada que decir al respecto. Rastrear una detención silenciosa hasta la herramienta que la causó, y hacer que la automatización admita cuándo está atascada, es el tipo de trabajo que nuestros ingenieros hacen para los clientes.
Lo que usted puede revisar por su cuenta
- Mire una muestra de lo que su automatización produjo realmente esta semana, no solo si cada trabajo terminó.
- Conserve una cuenta con el servicio externo que use a mano, fuera de la automatización, para que pueda ver lo que hoy ven los clientes de ese servicio.
- Cuando un tiempo de entrega en su pantalla no se haya movido durante horas, pregunte en qué se basa.
- Lea las notas de cambios o las novedades de los servicios de los que depende su trabajo al menos una vez por semana.
Preguntas frecuentes
¿Cómo me entero de que una herramienta externa cambió antes de que se pierda una fecha límite?
Vigile lo que sale, no solo si el trabajo terminó. Un servicio que cambia sus pantallas por lo general no manda ningún mensaje, y el trabajo se detiene en silencio o sale un poco mal. Una mirada rápida a una muestra de lo producido esta semana, incluidos los detalles pequeños como la forma y el texto, dice más que una fila de trabajos completados.
¿Por qué la automatización marcó cuentas buenas como sin voces?
Porque el menú del que leía las voces ya no estaba. La automatización trató un botón ausente como un hecho sobre la cuenta y no como un cambio en la pantalla, así que dejó de darles trabajo de presentador a esas cuentas. Las voces de esas cuentas nunca fueron el problema.
¿Por qué los clips de video verticales salieron anchos después de la actualización?
La nueva interfaz no tenía menú para la forma de la imagen. Un clip pedido solo con palabras se hacía en la forma ancha predeterminada, porque nada le indicaba otra cosa al servicio. Decir la forma en las palabras de la propia solicitud, un video vertical, más alto que ancho, le dio al clip vertical lo que antes daba el menú antiguo.
¿Debo mantener una cuenta fuera de mi automatización?
Sí, y vale la pena hacerlo antes de que algo salga mal. Una cuenta que puede usar a mano le muestra lo que hoy ven los clientes del servicio, que a menudo es distinto de lo que supone su automatización. También le da un lugar para probar cosas sin afectar el trabajo en curso.
¿Por qué mi pantalla muestra un tiempo de entrega cuando nada se está moviendo?
A menudo el tiempo se calcula a partir de lo que tardó el trabajo antes, no de algo que el servicio esté reportando ahora. Cuando el trabajo se detuvo en silencio, ese tiempo sigue prometiendo lo que no va a llegar. Pregunte a quien se encarga de la automatización en qué se basa el tiempo y si puede indicar que está detenido.