Slack ofrece IA generativa nativa y segura basada en Amazon SageMaker JumpStart

Esta publicación fue coautora de Jackie Rocca, vicepresidenta de producto e inteligencia artificial de Slack.

El trabajo se realiza en Slack. Es la plataforma de trabajo impulsada por IA que conecta personas, conversaciones, aplicaciones y sistemas en un solo lugar. Con Slack AI recientemente lanzado, una experiencia de inteligencia artificial (IA) generativa, nativa y confiable disponible directamente en Slack, los usuarios pueden ver y priorizar información para que puedan encontrar su enfoque y hacer su trabajo más productivo.

Nos complace anunciar que Slack, una empresa de Salesforce, se ha asociado con Amazon SageMaker JumpStart para impulsar las primeras capacidades de búsqueda y resumen de Slack AI y brindar protecciones para que Slack haga que los modelos de lenguaje grandes (LLM) sean más seguros. Slack trabajó con SageMaker JumpStart para alojar LLM de terceros líderes en la industria para que los datos no se compartan con infraestructura de modelo de terceros.

Esto mantiene los datos de los clientes almacenados en Slack en todo momento y mantiene las mismas prácticas de seguridad y estándares de cumplimiento que los clientes esperan del propio Slack. Slack también aprovecha las capacidades de inferencia de Amazon SageMaker para estrategias de enrutamiento avanzadas para escalar la solución para los clientes con rendimiento, latencia y rendimiento óptimos.

“Con Amazon SageMaker JumpStart, Slack puede acceder a modelos básicos de última generación para admitir Slack AI y al mismo tiempo priorizar la seguridad y la privacidad. Los clientes de Slack ahora pueden realizar búsquedas más inteligentes, resumir conversaciones al instante y ser más productivos”.

– Jackie Rocca, vicepresidenta de producto, IA en Slack

Modelos de cimentación en SageMaker JumpStart

SageMaker JumpStart es un centro de aprendizaje automático (ML) que puede ayudarlo a acelerar su viaje de ML. SageMaker JumpStart le permite evaluar, comparar y seleccionar rápidamente modelos de referencia (FM) basados ​​en métricas de calidad y responsabilidad predefinidas para realizar tareas como el resumen de elementos y la generación de imágenes. Los modelos previamente entrenados son totalmente personalizables según su caso de uso con sus datos, y puede implementarlos fácilmente en producción mediante la interfaz de usuario o el SDK. Además, puede acceder a soluciones prediseñadas para resolver casos de uso comunes y compartir artefactos de ML, incluidos modelos y cuadernos de ML, dentro de su organización para acelerar la creación e implementación de modelos de ML. Ninguno de sus datos se utiliza para entrenar los modelos subyacentes. Todos los datos están cifrados y nunca se comparten con terceros, por lo que puede confiar en que su información seguirá siendo privada y confidencial.

Los modelos disponibles se pueden encontrar en la página de modelos SageMaker JumpStart.

IA floja

Slack lanzó Slack AI para proporcionar capacidades nativas de IA generativa para ayudar a los clientes a encontrar y consumir rápidamente grandes cantidades de información para que puedan obtener aún más valor de su conocimiento compartido en Slack. Por ejemplo, los usuarios pueden hacer una pregunta en un lenguaje sencillo y obtener respuestas claras y concisas de inmediato con la búsqueda avanzada. Con los resúmenes de conversaciones, puede obtener información sobre canales e hilos con un solo clic. Y con los Resúmenes recientemente introducidos, pueden acceder a resúmenes diarios personalizados de lo que sucede en canales seleccionados.

Dado que la confianza es el valor fundamental de Slack, Slack AI se ejecuta en una infraestructura de nivel empresarial construida en AWS y cumple con las mismas prácticas de seguridad y estándares de cumplimiento que esperan los clientes. Diseñado para clientes preocupados por la seguridad, Slack AI es intrínsecamente seguro: los datos de los clientes permanecen internos, los datos no se utilizan con fines de capacitación LLM y los datos permanecen aislados.

Descripción general de la solución

SageMaker JumpStart brinda acceso a muchos LLM y Slack selecciona los FM adecuados que se adaptan a sus casos de uso. Debido a que estos modelos están alojados en la propia infraestructura de AWS de Slack, los datos enviados a los modelos cuando se invocan no salen de la infraestructura de AWS de Slack. Además, para proporcionar una solución segura, los datos enviados para invocar modelos de SageMaker se cifran en tránsito. Los datos enviados a los puntos finales de SageMaker JumpStart para invocar modelos no se utilizan para entrenar modelos base. SageMaker JumpStart permite que Slack admita altos estándares de seguridad y privacidad mientras utiliza modelos de última generación que ayudan a Slack AI a ofrecer un rendimiento óptimo para los clientes de Slack.

Los puntos finales de SageMaker JumpStart que sirven aplicaciones empresariales de Slack funcionan con instancias de AWS. SageMaker admite una amplia gama de tipos de instancias para la implementación de modelos, lo que permite a Slack seleccionar la instancia que mejor se adapte a los requisitos de latencia y escalabilidad de los casos de uso de IA de Slack. Slack AI tiene acceso a instancias basadas en múltiples GPU para alojar sus modelos SageMaker JumpStart. Varias instancias de GPU permiten que cada instancia que admita el punto final de Slack AI aloje varias copias de un modelo. Esto ayuda a mejorar la utilización de recursos y reducir los costos de implementación del modelo. Para obtener más información, consulte Amazon SageMaker agrega nuevas capacidades de inferencia para reducir el costo de implementación y la latencia del modelo base.

El siguiente diagrama ilustra la arquitectura de la solución.

Para utilizar las instancias de manera más efectiva y respaldar los requisitos de simultaneidad y latencia, Slack aprovechó las estrategias de enrutamiento que ofrece SageMaker con sus puntos finales de SageMaker. De forma predeterminada, un punto final de SageMaker distribuye las solicitudes entrantes de manera uniforme a las instancias de ML utilizando una estrategia de enrutamiento de algoritmo de operación por turnos llamada Algoritmo de operación por turnos. RANDOM. Sin embargo, para las cargas de trabajo de IA generativa, las solicitudes y respuestas pueden ser muy variables, y es deseable equilibrar la carga en función de la capacidad y la utilización de la instancia en lugar de un equilibrio de carga aleatorio. Para distribuir eficazmente las solicitudes entre las instancias que admiten los puntos finales, Slack utiliza el LEAST_OUTSTANDING_REQUESTS (LAR) estrategia de enrutamiento. Esta estrategia enruta solicitudes a instancias específicas que tienen más capacidad para procesar solicitudes en lugar de seleccionar aleatoriamente una instancia disponible. La estrategia LAR garantiza una distribución de carga y una utilización de recursos más uniformes. Como resultado, Slack AI experimentó una reducción de latencia de más del 39% en los valores de latencia p95 tras la activación. LEAST_OUTSTANDING_REQUESTS en comparación con ALEATORIO.

Para obtener más detalles sobre las estrategias de enrutamiento de SageMaker, consulte Minimizar la latencia de inferencia en tiempo real mediante estrategias de enrutamiento de Amazon SageMaker.

Diploma

Slack proporciona capacidades nativas de IA generativa que ayudan a sus clientes a ser más productivos y acceder más fácilmente al conocimiento colectivo integrado en sus conversaciones de Slack. Con acceso rápido a una amplia gama de FM y capacidades avanzadas de equilibrio de carga alojadas en instancias dedicadas a través de SageMaker JumpStart, Slack AI puede ofrecer capacidades ricas de IA generativa de manera más sólida y rápida, manteniendo al mismo tiempo los estándares de confianza y seguridad de Slack.

Obtenga más información sobre SageMaker JumpStart, Slack AI y cómo el equipo de Slack creó Slack AI para que sea seguro y privado. Deje sus pensamientos y preguntas en la sección de comentarios.

---

Sobre los autores

Jackie Rocca es vicepresidenta de Producto en Slack, donde supervisa la visión y ejecución de Slack AI, que aporta IA generativa de forma nativa y segura a la experiencia del usuario de Slack. Ahora tiene la misión de ayudar a los clientes a aumentar su productividad y obtener aún más valor de sus conversaciones, datos y conocimiento colectivo con IA generativa. Antes de Slack, Jackie fue gerente de producto en Google durante más de seis años, donde ayudó a lanzar y hacer crecer YouTube TV. Jackie vive en el área de la Bahía de San Francisco.

Rachna Chadha Es arquitecto principal de soluciones AI/ML en Cuentas Estratégicas en AWS. Rachna es una optimista que cree que el uso ético y responsable de la IA puede mejorar la sociedad en el futuro y generar prosperidad económica y social. En su tiempo libre, Rachna disfruta pasar tiempo con su familia, hacer senderismo y escuchar música.

marc karp es arquitecto de aprendizaje automático en el equipo de servicios de Amazon SageMaker. Se centra en ayudar a los clientes a diseñar, implementar y gestionar cargas de trabajo de aprendizaje automático a escala. En su tiempo libre le gusta viajar y explorar nuevos lugares.

Maninder (Mani) Kaur es el especialista en IA/ML para ISV estratégicos en AWS. Con su enfoque centrado en el cliente, Mani ayuda a los clientes estratégicos a dar forma a su estrategia de IA/ML, impulsar la innovación y acelerar su viaje de IA/ML. Mani cree firmemente en la IA ética y responsable y se compromete a garantizar que las soluciones de IA de sus clientes cumplan con estos principios.

gen ting es arquitecto principal de soluciones en AWS. Se centra en ayudar a los clientes empresariales a crear y ejecutar cargas de trabajo de forma segura en AWS. En su tiempo libre, Gene disfruta enseñar a los niños sobre tecnología y deportes y seguir los últimos avances en ciberseguridad.

Alan Tan Es gerente senior de productos en SageMaker y lidera grandes esfuerzos de inferencia de modelos. Su pasión es la aplicación del aprendizaje automático en el campo de la analítica. Fuera del trabajo, disfruta del aire libre.