[ad_1]
Esta es una publicación invitada en coautoría con Tamir Rubinsky y Aviad Aranias de Nielsen Sports..
Nielsen Sports da forma a los medios y contenidos del mundo como el proveedor líder mundial de conocimientos, datos y análisis de audiencia. Al comprender a las personas y su comportamiento en todos los canales y plataformas, brindamos a nuestros clientes información independiente y procesable para que puedan conectarse e interactuar con sus audiencias, ahora y en el futuro.
Nuestra misión en Nielsen Sports es brindar a nuestros clientes (marcas y titulares de derechos) la oportunidad de maximizar el retorno de la inversión (ROI) y la efectividad de una campaña publicitaria de patrocinio deportivo en todos los canales, incluidos TV, online, redes sociales, etc. medir incluso los periódicos y proporcionar una orientación precisa a nivel local, nacional e internacional.
En esta publicación, describimos cómo Nielsen Sports modernizó un sistema que ejecuta miles de modelos diferentes de aprendizaje automático (ML) en producción utilizando puntos finales multimodelo (MME) de Amazon SageMaker y redujo los costos operativos y financieros en un 75 %.
Desafíos de la segmentación de videos de canales
Nuestra tecnología se basa en inteligencia artificial (IA) y, en particular, visión por computadora (CV), lo que nos permite rastrear la presencia de la marca e identificar con precisión su ubicación. Por ejemplo, reconocemos si la marca está en un banner o en una camiseta. También identificamos la ubicación de la marca en el artículo, por ejemplo en la esquina superior de un cartel o en la portada. La siguiente imagen muestra un ejemplo de nuestro sistema de etiquetado.
Para comprender nuestros desafíos de escala y costos, veamos algunos números representativos. Cada mes identificamos más de 120 millones de impresiones de marca en diferentes canales, y el sistema debe admitir la identificación de más de 100.000 marcas y variaciones de diferentes marcas. Hemos creado una de las bases de datos de impresiones de marca más grandes del mundo con más de 6 mil millones de puntos de datos.
Nuestro proceso de evaluación de medios incluye varios pasos, como se muestra en la siguiente imagen:
- Primero, grabamos miles de canales en todo el mundo utilizando un sistema de grabación internacional.
- Transmitimos el contenido en combinación con el horario de transmisión (Guía Electrónica de Programación) a la siguiente fase, que es la segmentación y separación entre las transmisiones del juego en sí y otros contenidos o publicidad.
- Realizamos monitoreo de medios donde agregamos metadatos adicionales a cada segmento, como: B. Resultados de la liga, equipos y jugadores relevantes.
- Realizamos un análisis de exposición de la visibilidad de las marcas y luego combinamos la información de la audiencia para calcular la puntuación de la campaña.
- La información se proporciona al cliente a través de un panel o informes de analistas. El analista recibe acceso directo a los datos sin procesar o a través de nuestro almacén de datos.
Dado que operamos a una escala de más de mil canales y decenas de miles de horas de vídeo al año, necesitamos un sistema de automatización escalable para el proceso de análisis. Nuestra solución segmenta automáticamente la emisión y sabe aislar los videoclips relevantes del resto del contenido.
Esto lo logramos utilizando algoritmos y modelos especiales desarrollados por nosotros para analizar las propiedades específicas de los canales.
En total, operamos miles de modelos diferentes en producción para respaldar esta misión, que es costosa, genera gastos operativos y es lenta y propensa a errores. Se necesitaron meses para que los modelos con nueva arquitectura entraran en producción.
Aquí queríamos renovar y rediseñar nuestro sistema.
Escalado rentable para modelos CV con SageMaker MME
Nuestro antiguo sistema de segmentación de videos era difícil de probar, modificar y mantener. Los desafíos incluyen trabajar con un marco de aprendizaje automático antiguo, interdependencias entre componentes y un flujo de trabajo difícil de optimizar. Esto se debe a que basamos la canalización en RabbitMQ, que era una solución con estado. Para depurar un componente, como la extracción de funciones, tuvimos que probar todo el proceso.
El siguiente diagrama ilustra la arquitectura anterior.
Como parte de nuestro análisis, identificamos cuellos de botella en el rendimiento, como ejecutar un solo modelo en una máquina que tenía una baja utilización de GPU del 30-40%. También descubrimos ejecuciones de tuberías y algoritmos de programación ineficientes para los modelos.
Es por eso que decidimos crear una nueva arquitectura multiinquilino basada en SageMaker que implemente mejoras de optimización del rendimiento, admita tamaños de lotes dinámicos y ejecute múltiples modelos simultáneamente.
Cada ejecución del flujo de trabajo se dirige a un grupo de vídeos. Cada vídeo tiene una duración de entre 30 y 90 minutos y cada grupo debe demostrar más de cinco modelos.
Veamos un ejemplo: un vídeo puede durar 60 minutos y constar de 3600 imágenes, y cada imagen debe derivarse de tres modelos ML diferentes en la primera fase. Con SageMaker MME, podemos ejecutar lotes de 12 imágenes en paralelo y el lote completo se completa en menos de 2 segundos. En un día normal tenemos más de 20 grupos de vídeos y en un día ajetreado de fin de semana podemos tener más de 100 grupos de vídeos.
El siguiente diagrama muestra nuestra nueva arquitectura simplificada utilizando un MME de SageMaker.
Resultados
Con la nueva arquitectura logramos muchos de los resultados deseados y algunas ventajas invisibles sobre la arquitectura anterior:
- Mejor tiempo de ejecución – Al aumentar el tamaño de los lotes (12 vídeos en paralelo) y ejecutar varios modelos simultáneamente (cinco modelos en paralelo), redujimos el tiempo de ejecución general de nuestro canal en un 33 %, de 1 hora a 40 minutos.
- Infraestructura mejorada – Con SageMaker, actualizamos nuestra infraestructura existente y ahora utilizamos instancias de AWS más nuevas con GPU más nuevas como g5.xlarge. Uno de los mayores beneficios del cambio es la mejora inmediata del rendimiento mediante el uso de optimizaciones de TorchScript y CUDA.
- Uso optimizado de la infraestructura – Al tener un único punto final que puede alojar múltiples modelos, podemos reducir tanto la cantidad de puntos finales como la cantidad de máquinas a mantener, así como aumentar la utilización de una sola máquina y su GPU. Para una tarea determinada de cinco videos, ahora utilizamos solo cinco máquinas con instancias g5, lo que nos brinda una ventaja de costos del 75 % sobre la solución anterior. Para una carga de trabajo típica durante el día, utilizamos un único punto final con una sola máquina de g5.xlarge con una utilización de GPU superior al 80 %. En comparación, la solución anterior tenía una utilización inferior al 40%.
- Mayor agilidad y productividad – El uso de SageMaker nos permitió dedicar menos tiempo a migrar modelos y centrarnos más en mejorar nuestros algoritmos y modelos principales. Esto ha aumentado la productividad de nuestros equipos de ingeniería y ciencia de datos. Ahora podemos investigar e implementar un nuevo modelo de aprendizaje automático en menos de siete días, en lugar de más de un mes. Esta es una mejora del 75 por ciento en velocidad y programación.
- Más calidad y confianza – Las capacidades de prueba A/B de SageMaker nos permiten implementar gradualmente nuestros modelos y revertirlos de forma segura. El ciclo de vida más rápido hasta la producción también aumentó la precisión y los resultados de nuestros modelos de aprendizaje automático.
La siguiente figura muestra nuestra utilización de GPU con la arquitectura anterior (30–40% de utilización de GPU).
La siguiente figura muestra nuestra utilización de GPU con la nueva arquitectura simplificada (90% de utilización de GPU).
Diploma
En esta publicación, compartimos cómo Nielsen Sports utilizó SageMaker MME para modernizar un sistema que ejecuta miles de modelos diferentes en producción y reducir los costos operativos y financieros en un 75 %.
Puede encontrar más información aquí:
Sobre los autores
Eitan Sela es un arquitecto de soluciones especializado para IA generativa y aprendizaje automático en Amazon Web Services. Trabaja con clientes de AWS para brindarles consultoría y soporte técnico y ayudarlos a crear y operar soluciones de inteligencia artificial generativa y aprendizaje automático en AWS. En su tiempo libre, a Eitan le gusta trotar y leer los últimos artículos sobre aprendizaje automático.
Gal Goldman es ingeniero de software sénior y arquitecto de soluciones empresariales sénior en AWS y le apasionan las soluciones innovadoras. Se especializa y ha desarrollado numerosos servicios distribuidos y soluciones de aprendizaje automático. Gal también se centra en ayudar a los clientes de AWS a acelerar y resolver sus desafíos técnicos y generativos de IA.
Valle Panchek es gerente senior de desarrollo de negocios para inteligencia artificial y aprendizaje automático en Amazon Web Services. Como especialista en BD, es responsable de la creciente adopción, uso e ingresos de los servicios de AWS. Entiende las necesidades de los clientes y de la industria y colabora con los equipos de productos de AWS para innovar, desarrollar y ofrecer soluciones de AWS.
Tamir Rubinski dirige Ingeniería de I+D global en Nielsen Sports y aporta una amplia experiencia en el desarrollo de productos innovadores y en la dirección de equipos de alto rendimiento. Su trabajo transformó la evaluación de medios en el patrocinio deportivo a través de soluciones innovadoras impulsadas por inteligencia artificial.
Aviad Aranias es líder del equipo MLOps y arquitecto de análisis deportivo de Nielsen que se especializa en la creación de canales complejos para analizar videos de eventos deportivos en numerosos canales. Se destaca en el desarrollo e implementación de modelos de aprendizaje profundo para procesar eficientemente grandes cantidades de datos. En su tiempo libre le gusta hornear deliciosas pizzas napolitanas.
[ad_2]
New Comments