Un enfoque seguro para la IA generativa con AWS

La inteligencia artificial generativa (IA) está transformando la experiencia del cliente en industrias de todo el mundo. Los clientes crean aplicaciones de IA generativa utilizando modelos de lenguaje grande (LLM) y otros modelos básicos (FM) que mejoran las experiencias de los clientes, transforman las operaciones, mejoran la productividad de los empleados y crean nuevos canales de ingresos.

Los FM y las aplicaciones creadas en ellos representan inversiones extremadamente valiosas para nuestros clientes. A menudo se utilizan con datos comerciales altamente confidenciales, como datos personales, datos de cumplimiento, datos operativos e información financiera para optimizar el resultado del modelo. La mayor preocupación que escuchamos de los clientes mientras exploran los beneficios de la IA generativa es cómo proteger sus datos e inversiones altamente confidenciales. Debido a que sus datos y pesos de modelos son increíblemente valiosos, los clientes exigen que permanezcan protegidos, seguros y privados, ya sea de las cuentas de sus propios administradores, de las cuentas de sus clientes, de las vulnerabilidades del software que se ejecuta en sus propios entornos o incluso de los de su nube. proveedor de servicio.

En AWS, nuestra principal prioridad es garantizar la seguridad y la confidencialidad de las cargas de trabajo de nuestros clientes. Pensamos en la seguridad en los tres niveles de nuestra pila de IA generativa:

• Classe baja – Proporciona las herramientas para crear y capacitar LLM y otros FM.
• Clase media – Proporciona acceso a todos los modelos y herramientas que necesita para crear y escalar aplicaciones de IA generativa.
• Capa superior – Incluye aplicaciones que utilizan LLM y otros FM para hacer que el trabajo sea libre de estrés escribiendo y depurando código, generando contenido, obteniendo conocimientos y tomando medidas.

Cada nivel es importante para hacer que la IA generativa sea ubicua y transformadora.

Con el sistema AWS Nitro, hemos brindado una innovación única en nombre de nuestros clientes. El sistema Nitro es una columna vertebral informática incomparable para AWS con la seguridad y el rendimiento en su núcleo. Su hardware especializado y su firmware asociado están diseñados para imponer restricciones para que nadie, incluido nadie en AWS, pueda acceder a sus cargas de trabajo o datos que se ejecutan en sus instancias de Amazon Elastic Compute Cloud (Amazon EC2). Desde 2017, los clientes se han beneficiado de esta confidencialidad y aislamiento de los operadores de AWS en todas las instancias EC2 basadas en Nitro.

Por diseño, no existe ningún mecanismo para que un empleado de Amazon acceda a una instancia de Nitro EC2 que los clientes utilizan para ejecutar sus cargas de trabajo, o acceda a los datos que los clientes envían a un acelerador o GPU de aprendizaje automático (ML). Esta protección se aplica a todas las instancias basadas en Nitro, incluidas instancias con aceleradores de aprendizaje automático como AWS Inferentia y AWS Trainium, así como instancias con GPU como P4, P5, G5 y G6.

El sistema Nitro habilita el Elastic Fabric Adapter (EFA), que utiliza el protocolo de comunicaciones Scalable Reliable Datagram (SRD) desarrollado por AWS para un entrenamiento elástico y distribuido a gran escala en la nube, proporcionando el único acceso remoto directo a memoria siempre cifrado ( RDMA). ) habilita la red compatible. Toda la comunicación a través de EFA se cifra mediante cifrado VPC sin sacrificar el rendimiento.

El diseño del sistema Nitro ha sido validado por NCC Group, una empresa independiente de ciberseguridad. AWS proporciona un alto nivel de protección para las cargas de trabajo de los clientes y creemos que este es el nivel de seguridad y confidencialidad que los clientes deben esperar de su proveedor de nube. Este nivel de protección es tan importante que lo hemos incluido en nuestros Términos de servicio de AWS para brindar tranquilidad adicional a todos nuestros clientes.

Innove cargas de trabajo de IA generativa seguras utilizando las capacidades de seguridad líderes en la industria de AWS

Desde el primer día, la infraestructura y los servicios de IA de AWS han tenido características de seguridad y privacidad integradas que le permiten controlar sus datos. A medida que los clientes adoptan rápidamente medidas para implementar la IA generativa en sus organizaciones, usted debe estar seguro de que sus datos se manejan de forma segura durante todo el ciclo de vida de la IA, incluida la preparación, la capacitación y la inferencia de los datos. La seguridad de los pesos del modelo (los parámetros que un modelo aprende durante el entrenamiento y que son críticos para su capacidad de hacer predicciones) es fundamental para proteger sus datos y mantener la integridad del modelo.

Por eso es fundamental que AWS continúe innovando en nombre de nuestros clientes para elevar el nivel de seguridad en todos los niveles de la pila de IA generativa. Para lograr esto, creemos que la seguridad y la confidencialidad deben integrarse en cada capa de la pila de IA generativa. Debe poder proteger la infraestructura para capacitar a los LLM y otros FM, construir de forma segura con herramientas para ejecutar LLM y otros FM, y ejecutar aplicaciones que utilicen FM con seguridad y privacidad integradas en las que pueda confiar.

En AWS, proteger la infraestructura de IA significa que ninguna persona no autorizada, ni del operador de la infraestructura ni del cliente, puede acceder a datos sensibles de IA, como los pesos de los modelos de IA y los datos procesados ​​con estos modelos. Consta de tres principios básicos:

1. Aislamiento completo de los datos de IA del operador de infraestructura – El operador de infraestructura no debe tener la capacidad de acceder al contenido del cliente y a los datos de IA, como por ejemplo: B. Pesos del modelo de IA y datos procesados ​​con modelos.
2. Capacidad para que los clientes aíslen los datos de IA de ellos mismos – La infraestructura debe proporcionar un mecanismo que permita cargar los pesos y datos del modelo en el hardware mientras permanece aislado e inaccesible para los propios usuarios y software del cliente.
3. Comunicaciones de infraestructura protegida – Se debe proteger la comunicación entre dispositivos en la infraestructura del acelerador de ML. Todas las conexiones accesibles externamente entre dispositivos deben estar cifradas.

El sistema Nitro cumple con el primer principio de una infraestructura de IA segura al aislar sus datos de IA de los operadores de AWS. El segundo principio le proporciona una forma de eliminar el acceso administrativo de sus propios usuarios y software a sus datos de IA. AWS no solo le ofrece una manera de lograrlo, sino que lo hemos hecho sencillo y práctico al invertir en la creación de una solución integrada entre AWS Nitro Enclaves y AWS Key Management Service (AWS KMS). Con Nitro Enclaves y AWS KMS, puede cifrar sus datos confidenciales de IA con claves que usted posee y controla, almacenar esos datos en la ubicación que elija y transmitir de forma segura los datos cifrados a un entorno informático aislado para realizar inferencias. Durante todo el proceso, los datos confidenciales de IA se cifran y se aíslan de sus propios usuarios y software en su instancia EC2, y los operadores de AWS no tienen acceso a estos datos. Los casos de uso que se han beneficiado de este flujo incluyen la ejecución de inferencia LLM en un enclave. Hasta la fecha, los Nitro Enclaves solo funcionan en la CPU, lo que limita el potencial de modelos de IA generativa más grandes y procesamiento más complejo.

Anunciamos nuestros planes para ampliar este flujo Nitro cifrado de extremo a extremo con la mejor integración de su clase con aceleradores de aprendizaje automático y GPU, cumpliendo así el tercer principio. Puede descifrar datos confidenciales de IA y cargarlos en un acelerador de aprendizaje automático para su procesamiento, mientras está aislado de sus propios operadores y verifica la autenticidad de la aplicación utilizada para procesar los datos de IA. El sistema Nitro le permite validar criptográficamente sus aplicaciones con AWS KMS y descifrar datos solo si las comprobaciones requeridas son exitosas. Esta extensión permite a AWS ofrecer cifrado de extremo a extremo para sus datos a medida que fluyen a través de cargas de trabajo de IA generativa.

Planeamos ofrecer este flujo cifrado de extremo a extremo en el próximo Trainium2 desarrollado por AWS, así como en instancias de GPU basadas en la próxima arquitectura Blackwell de NVIDIA, las cuales brindan comunicación segura entre dispositivos, el tercer principio de la IA segura: infraestructura. . AWS y NVIDIA están trabajando estrechamente para llevar al mercado una solución conjunta, incluida la nueva plataforma de GPU NVIDIA Blackwell, que combina la solución GB200 NVL72 de NVIDIA con las tecnologías Nitro System y EFA para crear una solución líder en la industria para proporcionar una solución para la construcción segura y implementación de aplicaciones de IA generativa de próxima generación.

Estamos impulsando el futuro de la seguridad de la IA generativa

Hoy en día, decenas de miles de clientes utilizan AWS para experimentar y llevar a producción aplicaciones transformadoras de IA generativa. Las cargas de trabajo de IA generativa contienen datos extremadamente valiosos y confidenciales que requieren protección de sus propios operadores y del proveedor de servicios en la nube. Los clientes que utilizan instancias EC2 basadas en AWS Nitro han recibido este nivel de protección y aislamiento de los operadores de AWS desde 2017, cuando lanzamos nuestro innovador sistema Nitro.

En AWS, continuamos con esta innovación invirtiendo en la creación de capacidades potentes y accesibles para que a nuestros clientes les resulte práctico proteger sus cargas de trabajo de IA generativa en las tres capas de la pila de IA generativa, brindándole la tranquilidad de que puede concentrarse en lo que hace. Lo mejor: desarrollar y ampliar los posibles usos de la IA generativa a otras áreas. Descubra más aquí.

Sobre los autores

Anthony Liguori es vicepresidente de AWS e ingeniero distinguido de EC2

Colm MacCárthaigh es vicepresidente de AWS e ingeniero distinguido de EC2