[ad_1]
La investigación responsable de IA de Google se basa en la colaboración: entre equipos con diferentes orígenes y experiencia, entre investigadores y desarrolladores de productos y, en última instancia, con toda la comunidad. El equipo de Perception Fairness impulsa el progreso combinando una profunda experiencia en visión por computadora y equidad en el aprendizaje automático (ML) con conexiones directas con los investigadores que construyen los sistemas de percepción que impulsan los productos en Google y más allá. Juntos estamos trabajando para que nuestros sistemas sean inclusivos desde cero, basándonos en los principios de inteligencia artificial de Google.
![]() |
La investigación sobre la equidad de la percepción implica el diseño, desarrollo e implementación de modelos multimodales avanzados, incluidos los últimos modelos fundamentales y generativos subyacentes a los productos de Google. |
La misión de nuestro equipo es ampliar las fronteras de la equidad y la inclusión en los sistemas de aprendizaje automático multimodal, especialmente en el contexto de los modelos base y la IA generativa. Esto incluye componentes tecnológicos centrales como clasificación, localización, subtítulos, recuperación, respuesta visual a preguntas, generación de texto a imagen o texto a video, y edición generativa de imágenes y videos. Creemos que la equidad y la inclusión pueden y deben ser los principales objetivos de rendimiento para estas aplicaciones. Nuestra investigación se centra en desbloquear nuevos análisis y mitigaciones que nos permitan diseñar de manera proactiva hacia estos objetivos durante todo el ciclo de vida del desarrollo. Respondemos preguntas clave como: ¿Cómo podemos utilizar el aprendizaje automático para modelar de manera responsable y fiel las percepciones humanas de las identidades demográficas, culturales y sociales para promover la equidad y la inclusión? ¿Qué tipos de sesgos del sistema (por ejemplo, rendimiento deficiente en imágenes de personas con determinados tonos de piel) podemos medir y cómo podemos utilizar estas métricas para diseñar mejores algoritmos? ¿Cómo podemos desarrollar algoritmos y sistemas más integradores y reaccionar rápidamente cuando ocurren errores?
Medir cómo se retrata a las personas en los medios
Los sistemas de aprendizaje automático que pueden editar, seleccionar o crear imágenes o videos pueden impactar a todos los expuestos a sus resultados, moldeando o fortaleciendo las creencias de los espectadores de todo el mundo. Investigación para reducir el daño a la representación, p.e. B. el refuerzo de estereotipos o la denigración o destrucción de grupos de personas requiere una comprensión profunda tanto del contenido como del contexto social. Depende de cómo los diferentes observadores se perciben a sí mismos, a sus comunidades o cómo se retrata a los demás. Existe un considerable debate en este ámbito sobre qué categorías sociales deben estudiarse con herramientas informáticas y cómo hacerlo de forma responsable. Nuestra investigación se centra en trabajar en soluciones escalables basadas en la sociología y la psicología social, alineadas con la cognición humana, teniendo en cuenta la naturaleza subjetiva del problema y permitiendo una medición y remediación diferenciadas. Un ejemplo es nuestra investigación sobre las diferencias en la percepción humana y la anotación del tono de piel en imágenes utilizando la escala de tono de piel de Monk.
Nuestras herramientas también se utilizan para examinar la presentación en grandes colecciones de contenido. Como parte de nuestro proyecto Media Understanding for Social Exploration (MUSE), hemos trabajado con investigadores académicos, organizaciones sin fines de lucro y las principales marcas de consumo para comprender patrones en los principales medios y contenido publicitario. Publicamos este trabajo por primera vez en 2017 cuando colaboramos en un estudio sobre equidad de género en las películas de Hollywood. Desde entonces hemos aumentado el alcance y la profundidad de nuestros análisis. En 2019, publicamos resultados basados en más de 2,7 millones de anuncios de YouTube. En el último estudio, examinamos la representación en las intersecciones de género percibido, edad percibida y tono de piel en más de 12 años de programas de televisión populares de Estados Unidos. Estos estudios brindan información a los creadores de contenido y anunciantes y complementan nuestra propia investigación.
![]() |
Una representación (no datos reales) de señales computacionales que se pueden analizar a gran escala para revelar patrones de representación en colecciones de medios. [Video Collection / Getty Images] |
En el futuro, ampliaremos los conceptos de equidad de ML en los que nos centramos y las áreas donde se aplican de manera responsable. Vamos más allá de las imágenes fotorrealistas de personas y trabajamos para desarrollar herramientas que modelen la representación de comunidades y culturas en ilustraciones, representaciones abstractas de personajes humanoides e incluso imágenes que no presentan a humanos en absoluto. Finalmente, debemos pensar no sólo en quiénes son representados, sino también en cómo son representados: qué narrativa se comunica a través de las imágenes circundantes, el texto que los acompaña y el contexto cultural más amplio.
Análisis de las propiedades de sesgo de los sistemas perceptivos.
Crear sistemas de aprendizaje automático avanzados es complejo, ya que múltiples partes interesadas establecen diferentes criterios que deciden el comportamiento del producto. Históricamente, la calidad general se ha definido y medido mediante estadísticas resumidas (como la precisión general) sobre un conjunto de datos de prueba como indicador de la experiencia del usuario. Pero no todos los usuarios experimentan los productos de la misma manera.
La equidad de percepción permite la medición práctica de comportamientos matizados del sistema más allá de las estadísticas resumidas, lo que convierte a estas métricas en el núcleo de la calidad del sistema que alimenta directamente los comportamientos del producto y las decisiones de comercialización. Esto suele ser mucho más difícil de lo que parece. Resumir cuestiones complejas de sesgo (por ejemplo, diferencias de desempeño entre subgrupos interseccionales o casos de refuerzo de estereotipos) en un pequeño conjunto de métricas sin perder matices importantes es extremadamente difícil. Otro desafío es equilibrar la interacción entre las métricas de equidad y otras métricas del producto (por ejemplo, satisfacción del usuario, precisión, latencia), que a menudo se dice que son contradictorias a pesar de ser compatibles. Es común que los investigadores describan su trabajo como una optimización de un equilibrio entre «precisión y equidad», cuando en realidad la satisfacción general del usuario es consistente con el cumplimiento de los objetivos de equidad e inclusión.
Con este fin, nuestro equipo se centra en dos direcciones principales de investigación. En primer lugar, democratizar el acceso a herramientas de análisis de equidad bien entendidas y ampliamente aplicables, involucrar a las organizaciones asociadas en su adopción en las operaciones de productos e informar a la alta dirección de toda la organización sobre cómo interpretar los resultados. Este trabajo incluye el desarrollo de puntos de referencia integrales, la selección de conjuntos de datos de prueba de alta calidad y generalmente útiles, y herramientas que se centran en técnicas como el análisis por sectores y las pruebas contrafactuales, a menudo basándose en el trabajo sobre señales de representación centrales descrito anteriormente. En segundo lugar, promover enfoques novedosos para el análisis de equidad, incluida la colaboración con esfuerzos de productos que puedan conducir a descubrimientos innovadores o influir en la estrategia de comercialización.
Impulsar la IA de forma responsable
Nuestro trabajo no termina con el análisis del comportamiento del modelo. Más bien, utilizamos esto como punto de partida para identificar mejoras algorítmicas en colaboración con otros investigadores e ingenieros de los equipos de productos. Durante el año pasado, lanzamos componentes actualizados que admiten las funciones de búsqueda y recordatorios en Google Photos. Esto da como resultado un rendimiento más consistente y una robustez significativamente mejorada con capas adicionales que evitan que los errores se abran paso a través del sistema. Estamos trabajando para mejorar los algoritmos de clasificación en Google Imágenes para diversificar la presentación. Hemos actualizado algoritmos que pueden reforzar los estereotipos históricos mediante el uso responsable de señales adicionales, para que sea más probable que todos se reflejen en los resultados de búsqueda y encuentren lo que buscan.
Este trabajo se traslada naturalmente al mundo de la IA generativa, donde los modelos pueden crear colecciones de imágenes o videos derivados de indicaciones de imágenes y texto y responder preguntas sobre imágenes y videos. Estamos entusiasmados con el potencial de estas tecnologías para brindar nuevas experiencias a los usuarios y servir como herramientas para avanzar en nuestra propia investigación. Para que esto sea posible, estamos colaborando con comunidades de investigación y de IA responsables para desarrollar barreras de seguridad que mitiguen los modos de falla. Aprovechamos nuestras herramientas de comprensión de la representación para crear puntos de referencia escalables que se pueden combinar con comentarios humanos e invertimos en investigación desde el preescolar hasta la implementación para impulsar que los modelos sean de mayor calidad, más ricos y generen mejores resultados controlables. Queremos que estos modelos inspiren a las personas, proporcionen resultados diversos, traduzcan conceptos sin depender de tropos o estereotipos y proporcionen comportamientos y respuestas consistentes a través de variaciones de indicaciones contrafácticas.
Oportunidades y trabajo en progreso
A pesar de más de una década de trabajo enfocado, el campo de las tecnologías de justicia perceptual todavía parece ser un área emergente y de rápido crecimiento, repleta de oportunidades para técnicas innovadoras. Seguimos viendo oportunidades para contribuir al progreso técnico a través de la ciencia interdisciplinaria. La brecha entre lo que podemos medir en imágenes y los aspectos subyacentes de la identidad y la expresión humanas es enorme; cerrar esta brecha requiere soluciones de análisis de medios cada vez más sofisticadas. Las métricas de datos que muestran una representación veraz, están en el contexto correcto y tienen en cuenta una variedad de puntos de vista siguen siendo un desafío abierto para nosotros. ¿Podemos llegar a un punto en el que podamos reconocer de manera confiable representaciones de estereotipos matizados, actualizarlos continuamente para reflejar una sociedad en constante cambio e identificar situaciones en las que podrían resultar ofensivos? Los avances algorítmicos impulsados por la retroalimentación humana muestran un camino prometedor a seguir.
El reciente enfoque en la seguridad y la ética de la IA en el contexto del desarrollo de grandes modelos modernos ha estimulado nuevas formas de pensar sobre la medición del sesgo sistémico. Exploramos múltiples formas de utilizar estos modelos, junto con desarrollos recientes en métodos de explicabilidad basados en conceptos, métodos de inferencia causal e investigaciones de UX de vanguardia, para cuantificar y minimizar el comportamiento sesgado no deseado. Esperamos afrontar los desafíos futuros y desarrollar tecnología que funcione para todos.
gracias
Nos gustaría agradecer a todos los miembros del equipo de Perception Fairness y a todos nuestros empleados.
[ad_2]