[ad_1]
Al buscar vuelos en Google, es posible que haya notado que las emisiones de carbono estimadas ahora se muestran junto al costo de cada vuelo. Esta es una forma de informar a los clientes sobre su impacto en el medio ambiente y darles la oportunidad de incorporar esta información en su toma de decisiones.
Aún no existe un tipo de transparencia comparable para la industria informática, a pesar de que sus emisiones de CO2 superan las de toda la industria de la aviación. Este requerimiento energético se puede aumentar utilizando modelos de inteligencia artificial. Modelos enormes y populares como ChatGPT señalan una tendencia hacia la inteligencia artificial a gran escala, lo que refuerza las predicciones de que los centros de datos proporcionarán hasta el 21 por ciento del suministro mundial de electricidad para 2030.
El Centro de Supercomputación del Laboratorio Lincoln (LLSC) del MIT está desarrollando técnicas para ayudar a los centros de datos a reducir su consumo de energía. Sus técnicas van desde cambios simples pero efectivos, como: B. Hardware para limitar el rendimiento, hasta la introducción de nuevas herramientas que puedan detener el entrenamiento de IA en una etapa temprana. Fundamentalmente, descubrieron que estas técnicas tienen un impacto mínimo en el rendimiento del modelo.
En general, su trabajo moviliza la investigación sobre informática ecológica y promueve una cultura de transparencia. «La informática consciente de la energía no es realmente un área de investigación porque todos están atrapados con sus datos», dice Vijay Gadepally, investigador principal de LLSC que lidera los esfuerzos de investigación consciente de la energía. «Alguien tiene que empezar y esperamos que otros sigan».
Reduzca la potencia y enfríe
Como muchos centros de datos, LLSC ha experimentado un aumento significativo en la cantidad de trabajos de IA que se ejecutan en su hardware. Al notar un aumento en el consumo de energía, los científicos informáticos de LLSC sintieron curiosidad por encontrar formas de completar las tareas de manera más eficiente. La informática ecológica es un principio del centro que funciona íntegramente con energía libre de carbono.
Entrenar un modelo de IA (el proceso mediante el cual aprende patrones a partir de conjuntos de datos masivos) requiere el uso de unidades de procesamiento de gráficos (GPU), que son hardware que consumen mucha energía. Por ejemplo, las GPU que entrenaron a GPT-3 (el precursor de ChatGPT) consumieron aproximadamente 1.300 megavatios-hora de electricidad, lo que equivale aproximadamente a lo que usan 1.450 hogares estadounidenses promedio por mes.
Si bien la mayoría de las personas eligen las GPU por su potencia informática, los fabricantes ofrecen formas de limitar la cantidad de energía que puede consumir una GPU. «Estudiamos el impacto de la limitación de potencia y descubrimos que podemos reducir el consumo de energía entre un 12 y un 15 por ciento dependiendo del modelo», dice Siddharth Samsi, investigador de LLSC.
La compensación por limitar el rendimiento es aumentar el tiempo de la tarea: las GPU tardan aproximadamente un 3 por ciento más en completar una tarea, un aumento que, según Gadepally, es «apenas perceptible» considerando que los modelos a menudo funcionan durante días o incluso meses de entrenamiento. En uno de sus experimentos entrenando el popular modelo de lenguaje BERT, limitar la potencia de la GPU a 150 vatios dio como resultado un aumento en el tiempo de entrenamiento en dos horas (de 80 a 82 horas), pero ahorró el equivalente a una semana de energía para un hogar de EE. UU. .
Luego, el equipo desarrolló un software que integra esta función de limitación de energía en el sistema de programación Slurm, ampliamente utilizado. El software permite a los propietarios de centros de datos establecer límites para todo su sistema o para cada trabajo individual.
«Podemos realizar esta intervención hoy y lo hemos hecho en todos nuestros sistemas», dice Gadepally.
También han surgido beneficios secundarios. Desde que se introdujeron las limitaciones de energía, las GPU de supercomputadoras LLSC han estado funcionando aproximadamente 30 grados Fahrenheit más frías y a una temperatura más constante, lo que reduce la carga en el sistema de enfriamiento. Hacer funcionar el refrigerador de hardware también puede aumentar potencialmente la confiabilidad y la vida útil. Ahora puede considerar retrasar la compra de nuevo hardware, reduciendo así el “carbono incorporado” del centro, o las emisiones derivadas de la fabricación del equipo, hasta que las eficiencias obtenidas con la implementación de nuevo hardware compensen este aspecto de la huella de carbono. También encuentran formas de reducir las necesidades de refrigeración programando estratégicamente los trabajos para que se ejecuten durante la noche y durante los meses de invierno.
«Los centros de datos ahora pueden aprovechar estos enfoques fáciles de implementar para aumentar la eficiencia sin requerir cambios de código o infraestructura», afirma Gadepally.
Puede llevar mucho tiempo analizar las operaciones del centro de datos de manera integral para encontrar oportunidades de ahorro. Para facilitar este proceso a otros, el equipo, en colaboración con el profesor Devesh Tiwari y Baolin Li de la Universidad Northeastern, desarrolló y publicó recientemente un marco integral para analizar la huella de carbono de los sistemas informáticos de alto rendimiento. Los profesionales de sistemas pueden utilizar este marco de análisis para comprender mejor qué tan sostenible es su sistema actual y considerar cambios para los sistemas de próxima generación.
Personalice cómo se entrenan y utilizan los modelos
Además de realizar ajustes en las operaciones del centro de datos, el equipo está desarrollando formas de hacer que el desarrollo de modelos de IA sea más eficiente.
Al entrenar modelos, los desarrolladores de IA a menudo se centran en mejorar la precisión, basándose en modelos anteriores como punto de partida. Para lograr el resultado deseado, necesitan determinar qué parámetros utilizar. Para hacerlo bien es necesario probar miles de configuraciones. Este proceso, llamado optimización de hiperparámetros, es un área que los investigadores de LLSC han descubierto que es capaz de reducir el desperdicio de energía.
«Desarrollamos un modelo que esencialmente analiza la tasa de aprendizaje de una configuración particular», dice Gadepally. Dada esta tasa, su modelo predice el desempeño probable. Los modelos con bajo rendimiento se detienen antes de tiempo. «Podemos darle una estimación muy precisa desde el principio de que el mejor modelo estará entre los 10 primeros de los 100 modelos en funcionamiento», afirma.
En sus estudios, esta parada temprana resultó en ahorros espectaculares: una reducción del 80 por ciento en el consumo de energía para el entrenamiento de modelos. Han aplicado esta técnica a modelos diseñados para aplicaciones de visión por computadora, procesamiento del lenguaje natural y diseño de materiales.
«En mi opinión, esta técnica tiene el mayor potencial para avanzar en la forma en que se entrenan los modelos de IA», afirma Gadepally.
La formación es sólo una parte de las emisiones de un modelo de IA. El mayor impulsor de las emisiones a lo largo del tiempo es la inferencia del modelo, o el proceso de ejecutar el modelo en vivo, como cuando un usuario chatea usando ChatGPT. Para responder rápidamente, estos modelos utilizan hardware redundante que se ejecuta constantemente y espera que un usuario haga una pregunta.
Una forma de mejorar la eficiencia de la inferencia es utilizar el hardware más adecuado. También en colaboración con la Universidad Northeastern, el equipo desarrolló un optimizador que combina un modelo con la combinación de hardware más eficiente en carbono, p. B. GPU de alto rendimiento para las partes computacionalmente intensivas de la inferencia y unidades centrales de procesamiento (CPU) de bajo consumo para los aspectos menos exigentes. Este trabajo ganó recientemente el premio al mejor artículo en el Simposio internacional ACM sobre computación distribuida y paralela de alto rendimiento.
El uso de este optimizador puede reducir el consumo de energía entre un 10 y un 20 por ciento y, al mismo tiempo, lograr el mismo objetivo de «calidad de servicio» (qué tan rápido puede responder el modelo).
Esta herramienta es particularmente útil para clientes de la nube que alquilan sistemas de centros de datos y necesitan seleccionar hardware entre miles de opciones. “La mayoría de los clientes sobreestiman lo que necesitan; eligen hardware de rendimiento superior simplemente porque no conocen nada mejor”, afirma Gadepally.
Creciente conciencia sobre la informática verde
La energía ahorrada al implementar estas medidas también reduce los costos asociados al desarrollo de la IA, a menudo en una proporción de uno a uno. De hecho, el coste suele utilizarse como indicador del consumo de energía. Teniendo en cuenta estos ahorros, ¿por qué no hay más centros de datos invirtiendo en tecnologías verdes?
«Creo que es más bien una cuestión de desalineación de incentivos», dice Samsi. «Hubo tal carrera por construir modelos mejores y más grandes que casi todas las consideraciones secundarias quedaron de lado».
Señalan que, si bien algunos centros de datos están comprando créditos de energía renovable, no son suficientes para satisfacer las crecientes necesidades energéticas. La mayor parte de la electricidad que alimenta los centros de datos proviene de combustibles fósiles, y el agua utilizada para la refrigeración contribuye a sobrecargar las cuencas hidrográficas.
También puede haber reticencias porque no se han realizado estudios sistemáticos sobre técnicas de ahorro de energía. Por esta razón, el equipo ha avanzado su investigación en ubicaciones revisadas por pares además de repositorios de código abierto. Algunos actores importantes de la industria, como Google DeepMind, han utilizado el aprendizaje automático para aumentar la eficiencia del centro de datos, pero no han puesto su trabajo a disposición de otros para implementarlo o replicarlo.
Las principales conferencias sobre IA ahora están presionando para que se establezcan declaraciones éticas que consideren cómo se podría hacer un mal uso de la IA. El equipo considera que el clima es un tema de la ética de la IA que ha recibido poca atención hasta ahora, pero que también parece estar cambiando lentamente. Algunos investigadores ahora están revelando la huella de carbono del entrenamiento de los últimos modelos, y la industria también está mostrando un cambio en la transparencia energética, como en este informe reciente de Meta AI.
También reconocen que la transparencia es difícil sin herramientas que puedan mostrar a los desarrolladores de IA su consumo. Los informes están en la hoja de ruta de LLSC para este año. Desea poder mostrarle a cada usuario de LLSC, para cada trabajo, cuánta energía está usando y cómo se compara esa cantidad con otros, similar a los informes de energía residencial.
Parte de este esfuerzo requiere una colaboración más estrecha con los fabricantes de hardware para que la recopilación de estos datos del hardware sea más fácil y precisa. Si los fabricantes pueden estandarizar la forma en que se leen los datos, se podrán utilizar herramientas de generación de informes y ahorro de energía en diferentes plataformas de hardware. Se está llevando a cabo una colaboración entre investigadores de LLSC e Intel para resolver este mismo problema.
Incluso los desarrolladores de IA que son conscientes de los altos requisitos energéticos de la IA no pueden hacer mucho por sí solos para frenar este consumo de energía. El equipo de LLSC quiere ayudar a otros centros de datos a implementar estas medidas y brindar a los usuarios opciones energéticamente conscientes. Su primera asociación es con la Fuerza Aérea de EE. UU., patrocinador de esta investigación, que opera miles de centros de datos. La aplicación de estas técnicas puede reducir significativamente el consumo y los costes de energía.
«Estamos poniendo el control en manos de los desarrolladores de IA que quieren reducir su huella», afirma Gadepally. “¿Realmente tengo que entrenar gratis a modelos poco prometedores? ¿Estoy dispuesto a dejar que mis GPU funcionen más lento para ahorrar energía? Hasta donde sabemos, ningún otro centro de supercomputación tiene la capacidad de considerar estas opciones. Con nuestras herramientas puedes decidir hoy”.
Visite esta página web para ver las publicaciones del grupo sobre informática con conciencia energética y los resultados descritos en este artículo.
[ad_2]