[ad_1]
Lanzado en 2021, Amazon SageMaker Canvas es un servicio visual de apuntar y hacer clic para crear e implementar modelos de aprendizaje automático (ML) sin escribir código. Los Foundation Models (FM) listos para usar disponibles en SageMaker Canvas permiten a los clientes utilizar IA generativa para tareas como la generación y agregación de contenido.
Nos complace anunciar las últimas actualizaciones de Amazon SageMaker Canvas, que aportan nuevas e interesantes capacidades de IA generativa a la plataforma. Con soporte para los modelos Meta Llama 2 y Mistral.AI y la introducción de respuestas en streaming, SageMaker Canvas continúa ofreciendo a todos la oportunidad de comenzar con la IA generativa sin tener que escribir una sola línea de código. En esta publicación, analizamos estas actualizaciones y sus beneficios.
Presentamos los modelos Meta Llama 2 y Mistral
Llama 2 es un modelo base de última generación de Meta que ofrece escalabilidad y versatilidad mejoradas para una variedad de tareas de IA generativa. Los usuarios han informado que Llama 2 puede tener conversaciones significativas y coherentes, generar contenido nuevo y extraer respuestas de notas existentes. Llama 2 se encuentra entre los modelos de lenguaje grande (LLM) de vanguardia disponibles para la comunidad de código abierto en la actualidad para crear sus propias aplicaciones impulsadas por IA.
Mistral.AI, una startup francesa líder en IA, ha desarrollado Mistral 7B, un potente modelo de lenguaje con 7.300 millones de parámetros. Los modelos Mistral han sido muy bien adoptados por la comunidad de código abierto gracias al uso de Atención de consultas agrupadas (GQA) para una inferencia más rápida, lo que los hace altamente eficientes y comparables a modelos con el doble o el triple de parámetros.
Hoy nos complace anunciar que SageMaker Canvas ahora admite tres variantes del modelo Llama 2 y dos variantes de Mistral 7B:
Para probar estos modelos, navegue hasta SageMaker Canvas Modelos listos para usar Página y luego seleccione Generar, extraer y resumir contenidos.. Encuentre la experiencia de chat de SageMaker Canvas GenAI aquí. Aquí puede utilizar cualquier modelo de Amazon Bedrock o SageMaker JumpStart seleccionándolo en el menú desplegable Modelo.
En nuestro caso elegimos uno de los modelos Llama 2. Ahora puede proporcionar su opinión o solicitud. A medida que envía datos, SageMaker Canvas los pasa al modelo.
Para elegir cuál de los modelos disponibles en SageMaker Canvas es mejor para su caso de uso, debe considerar información sobre los modelos en sí: el modelo de chat Llama-2-70B es un modelo más grande (70 mil millones de parámetros en comparación con 13 mil millones). con Llama-2-13B-chat), lo que significa que su rendimiento es generalmente mayor que el más pequeño, a expensas de una latencia ligeramente mayor y un mayor costo por token. Mistral-7B ofrece un rendimiento comparable al de Llama-2-7B o Llama-2-13B, pero está alojado en Amazon SageMaker. Esto significa que el modelo de precios es diferente, pasando de un modelo de precios de dólar por token a un modelo de dólar por hora. Esto puede resultar más rentable con una cantidad significativa de solicitudes por hora y un uso constante a escala. Todos los modelos anteriores pueden funcionar bien en una variedad de casos de uso. Por lo tanto, le recomendamos que evalúe qué modelo resuelve mejor su problema, teniendo en cuenta las compensaciones entre el rendimiento, el rendimiento y los costos.
Si busca una manera sencilla de comparar el comportamiento de los modelos, SageMaker Canvas ofrece esta funcionalidad de forma nativa en forma de comparaciones de modelos. Podrás seleccionar hasta tres modelos diferentes y enviar la misma solicitud a todos ellos al mismo tiempo. Luego, SageMaker Canvas recibe las respuestas de cada uno de los modelos y las muestra una al lado de la otra en una interfaz de chat. Para hacer esto, elija Comparar Y seleccione otros modelos para comparar como se muestra a continuación:
Presentamos Response Streaming: interacciones en tiempo real y rendimiento mejorado
Una de las nuevas características clave de esta versión es la introducción de respuestas transmitidas. Las respuestas en streaming brindan al usuario una experiencia más rica y reflejan más fielmente una experiencia de chat. Con la transmisión de respuestas, los usuarios pueden recibir comentarios instantáneos y una integración perfecta en sus aplicaciones de chatbot. Esto permite una experiencia más interactiva y receptiva y mejora el rendimiento general y la satisfacción del usuario del chatbot. La capacidad de recibir respuestas instantáneas en forma de chat garantiza un flujo de conversación más natural y mejora la experiencia del usuario.
Esta característica ahora le permite interactuar con sus modelos de IA en tiempo real, recibiendo respuestas instantáneas y permitiendo una integración perfecta en una amplia gama de aplicaciones y flujos de trabajo. Todos los modelos que se pueden consultar en SageMaker Canvas (de Amazon Bedrock y SageMaker JumpStart) pueden transmitir respuestas al usuario.
Empiece hoy
Ya sea que esté creando un chatbot, un sistema de recomendaciones o un asistente virtual, los modelos Llama 2 y Mistral combinados con respuestas transmitidas garantizan un mejor rendimiento e interactividad en sus proyectos.
Para utilizar las funciones más recientes de SageMaker Canvas, asegúrese de eliminar y volver a crear la aplicación. Para hacer esto, cierre sesión en la aplicación seleccionando Cerrar sesióny luego vuelva a abrir SageMaker Canvas. Deberías consultar los nuevos modelos y disfrutar de los últimos lanzamientos. Cuando cierra sesión en la aplicación SageMaker Canvas, todos los recursos utilizados por la instancia del espacio de trabajo se liberan, lo que evita costos adicionales no deseados.
Diploma
Para comenzar con las nuevas respuestas transmitidas para los modelos Llama 2 y Mistral en SageMaker Canvas, visite la consola de SageMaker y explore la interfaz intuitiva. Para obtener más información sobre cómo SageMaker Canvas y la IA generativa pueden ayudarlo a alcanzar sus objetivos comerciales, consulte Permita que sus usuarios comerciales extraigan información de documentos corporativos utilizando Amazon SageMaker Canvas y la IA generativa y Aborde los desafíos comunes de los centros de contacto con la IA generativa y Amazon SageMaker Canvas.
Si desea obtener más información sobre las características de SageMaker Canvas y profundizar en otros casos de uso de ML, consulte las otras publicaciones en la categoría SageMaker Canvas del blog de AWS ML. ¡Estamos ansiosos por ver las increíbles aplicaciones de IA que crearás con estas nuevas funciones!
Sobre los autores
Davide Gallitelli es un arquitecto senior de soluciones especializado en IA/ML. Tiene su sede en Bruselas y trabaja en estrecha colaboración con clientes de todo el mundo que buscan adoptar tecnologías de inteligencia artificial generativa y aprendizaje automático con código bajo o sin código. Ha sido desarrollador desde pequeño y empezó a programar a los 7 años. Comenzó a aprender AI/ML en la universidad y desde entonces se ha enamorado de ello.
Dan Sinnreich es gerente senior de productos en AWS y ayuda a democratizar el aprendizaje automático con código bajo o sin código. Antes de AWS, Dan desarrolló y comercializó plataformas SaaS empresariales y modelos de series temporales utilizados por inversores institucionales para gestionar el riesgo y crear carteras óptimas. Fuera del trabajo, juega hockey, bucea y lee ciencia ficción.
[ad_2]