Cohere Command R y R+ ya están disponibles en Amazon SageMaker JumpStart

[ad_1]

Esta publicación de blog fue escrita en coautoría con Pradeep Prabhakaran de Cohere.

Hoy nos complace anunciar que los modelos básicos Cohere Command R y R+ están disponibles para implementar y ejecutar inferencias a través de Amazon SageMaker JumpStart. Command R/R+ son modelos optimizados para recuperación de generación aumentada (RAG) de última generación diseñados para manejar cargas de trabajo de clase empresarial.

En esta publicación, aprenderá cómo descubrir e implementar Cohere Command R/R+ a través de SageMaker JumpStart.

¿Qué son Cohere Command R y Command R+?

Cohere Command R es una familia de modelos de lenguaje altamente escalables que combinan alto rendimiento con alta precisión. La familia Command R, incluidos los modelos Command R y Command R+, está optimizada para flujos de trabajo basados en RAG, como interacción conversacional y tareas de contexto prolongado, lo que permite a las empresas pasar de la prueba de concepto a la producción. Estos potentes modelos están diseñados para manejar tareas complejas con alto rendimiento y alta precisión, lo que los hace adecuados para su uso en el mundo real.

Command R presenta alta precisión en RAG y tareas de uso de herramientas, baja latencia y alto rendimiento, longitud de contexto larga de 128 000 tokens y sólidas capacidades en 10 idiomas clave: inglés, francés, español, italiano, alemán, portugués, japonés, coreano, árabe. y chino.

Command R+ es el último modelo, optimizado para interacción conversacional de extremadamente alto rendimiento y tareas de contexto prolongado. Se recomienda para flujos de trabajo basados en funciones RAG complejas y uso de herramientas de varias etapas (agentes), mientras que Cohere R es ideal para tareas de uso de herramientas RAG y de una sola etapa más simples, así como para aplicaciones donde el precio es una consideración importante.

¿Qué es SageMaker JumpStart?

SageMaker JumpStart le permite elegir entre una amplia selección de modelos de bases disponibles públicamente. Los profesionales de ML pueden implementar modelos base en instancias dedicadas de SageMaker desde un entorno aislado de red y personalizar modelos utilizando SageMaker para el entrenamiento e implementación de modelos. Ahora puede descubrir e implementar modelos Cohere Command R/R+ con algunas opciones en Amazon SageMaker Studio o mediante programación a través del SDK de SageMaker Python. Esto le permite derivar controles de rendimiento del modelo y operaciones de aprendizaje automático (MLOps) utilizando funciones de SageMaker como SageMaker Pipelines, SageMaker Debugger o registros de contenedores.

El modelo se implementa en un entorno seguro de AWS y bajo el control de su Nube Privada Virtual (VPC), contribuyendo a la seguridad de los datos. Los modelos Cohere Command R/R+ ahora están disponibles para implementación e inferencia en Amazon SageMaker Studio us-east-1 (Virginia del Norte), us-east-2 (Ohio), us-west-1 (California del norte), us-west-2 (Oregón), Canadá (Central), eu-central-1 (Fráncfort), eu-west-1 (Irlanda), eu-west-2 (Londres), eu-west-3 (París), eu-north-1 (Estocolmo), ap-southeast-1 (Singapur), ap-southeast-2 (Sídney), ap-northeast-1 (Tokio), ap-northeast-2 (Seúl), ap-south-1 (Bombay) y sa-east-1 (Sao Paulo).

Descubre modelos

Puede acceder a los modelos base a través de SageMaker JumpStart en la interfaz de usuario de SageMaker Studio y el SDK de SageMaker Python. En esta sección aprenderá cómo descubrir los modelos en SageMaker Studio.

En la página de inicio de SageMaker JumpStart, puede descubrir fácilmente diferentes modelos explorando diferentes centros con nombres de proveedores de modelos. Los modelos Cohere Command R y R+ están disponibles en el centro Cohere. Si no ve estos modelos, asegúrese de tener la última versión de SageMaker Studio cerrando y reiniciando Studio Classic Apps.

Para encontrar los modelos Command R y R+, busque "Command R" en el cuadro de búsqueda en la parte superior izquierda de la página de inicio de SageMaker JumpStart. Cada modelo se puede implementar en instancias P5 de Amazon Elastic Compute Cloud (EC2) con soporte de NVIDIA. H100 GPU Tensor Core (p5.48xlarge) e instancias Amazon EC2 P4de con soporte NVIDIA A100 GPU Tensor Core (ml.p4de.24xlarge).

Proporcionar un modelo

Para demostrar la implementación del modelo, implementamos Cohere Command R+ en NVIDIA H100. Seleccione la tarjeta del modelo para abrir la página de detalles del modelo correspondiente.

Si tu eliges Insertar, aparecerá una ventana pidiéndole que se suscriba al modelo en AWS Marketplace. Elegir Suscribirse a, que lo redireccionará a la lista de AWS Marketplace para Cohere Command R+ (H100). Siga las instrucciones en pantalla para completar el proceso de suscripción.

Después de suscribirte, regresa a la página de detalles del modelo y selecciona " Insertar en la ventana. Se inicia el proceso de implementación.

Alternativamente, puedes elegir Cuadernos en la tarjeta modelo y abra el cuaderno de muestra en JupyterLab. Este cuaderno proporciona instrucciones completas para implementar el modelo para inferencia y poda de recursos. También puede encontrar este cuaderno de muestra en el repositorio de Cohere SageMaker GitHub. Para garantizar la seguridad del punto final, puede configurar la clave de AWS Key Management Service (KMS) para una configuración de punto final de SageMaker.

Si ya se ha creado un punto final, simplemente puede conectarse a él:

co = Client(region_name=region)

co.connect_to_endpoint(endpoint_name="cohere-command-r-plus")

Inferencia en tiempo real

Una vez que su punto final esté conectado, puede realizar inferencias en tiempo real utilizando el punto final co.chat.

message = "Write a LinkedIn post about starting a career in tech:"
response = co.chat(message=message, stream=False)

Funciones multilingües

Command R/R+ está optimizado para un buen rendimiento en 10 idiomas clave, como se enumera en la introducción. Además, se incluyeron datos previos al entrenamiento para los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, holandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo y persa.

El modelo fue entrenado para responder en el idioma del usuario. Aquí hay un ejemplo en español:

co.chat(
  message="Écris une description de produit pour une voiture électrique en 50 à 75 mots"
)

La respuesta podría verse así:

Découvrez la voiture électrique qui va révolutionner votre façon de conduire.
Avec son design élégant, cette voiture offre une expérience de conduit unique avec une accélération puissante et une autonomie impressionnante. Sa technologie avancée vous garantit une charge rapide et une fiabilité inégalée. Avec sa conception innovante et durable, cette voiture est parfaite pour les trajets urbains et les longues distances. Profitez d'une conduite silencieuse et vivez l'expérience de la voiture électrique!

Command R/R+ también puede realizar tareas en varios idiomas, como traducir o responder preguntas sobre contenido en otros idiomas.

Chat con documentos (RAG)

Command R/R+ puede anclar a sus generaciones. Esto significa que se pueden generar respuestas basadas en una lista de fragmentos de documentos proporcionados y en la respuesta se incluyen citas que indican la fuente de la información.

Por ejemplo, el siguiente fragmento de código produce una respuesta a "¿Qué profundidad tiene la Fosa de las Marianas?”junto con citas en línea basadas en los documentos en línea proporcionados.

Consulta:

message="How deep is the Mariana Trench"
documents = [
    {
       "id": "national_geographic_everest",
       "title": "Height of Mount Everest",
       "snippet": "The height of Mount Everest is 29,035 feet",
       "url": "https://education.nationalgeographic.org/resource/mount-everest/",
    },
    {
        "id": "national_geographic_mariana",
        "title": "Depth of the Mariana Trench",
        "snippet": "The depth of the Mariana Trench is 36,070 feet",
        "url": "https://www.nationalgeographic.org/activity/mariana-trench-deepest-place-earth",
    }
]

response = co.chat(message=message, documents=documents, stream=False)

Respuesta:

{
   text: “The depth of the Mariana Trench is 36,070 feet.”,
   citations: [
      {'start': 35, 'end': 47, 'text': '36,070 feet.', 'document_ids': ['national_geographic_mariana']}
   ],
   documents: [
      {'id': 'national_geographic_mariana', 
       'snippet': 'The depth of the Mariana Trench is 36,070 feet', 
       'title': 'Depth of the Mariana Trench'
	'url':'https://www.nationalgeographic.org/activity/mariana-trench-deepest-place-earth'}
   ]
}

Usar herramientas en uno o más pasos

Command R/R+ tiene una API de uso de herramientas que permite que el modelo de lenguaje interactúe con herramientas personalizadas para automatizar tareas altamente complejas. Command R/R+ en el modo de uso de herramientas crea cargas útiles de API (JSON con parámetros específicos) basadas en las interacciones del usuario y el historial de conversaciones. Estos se pueden utilizar para guiar cualquier otra aplicación o herramienta.

Por ejemplo, se puede ordenar a una aplicación que categorice y enrute automáticamente los tickets de soporte a la persona adecuada, cambie un estado en el software de gestión de relaciones con el cliente (CRM) o recupere fragmentos relevantes de una base de datos vectorial. Hay dos variantes; monoetapa y multietapa:

El uso de herramientas en un solo paso permite un conjunto más rico de comportamientos al aprovechar los datos almacenados en las herramientas, ejecutar acciones a través de API, interactuar con una base de datos vectorial, consultar un motor de búsqueda, etc.
El uso de herramientas de múltiples etapas es una extensión de esta idea básica, permitiendo que el modelo invoque más de una herramienta en una secuencia de pasos y use los resultados de una invocación de herramienta en un paso posterior. Este proceso permite que el modelo de lenguaje razone basándose en información de fuentes externas, realice acciones dinámicas y se adapte rápidamente.

Para explorar más a fondo estas características, puede consultar el cuaderno Jupyter proporcionado por Cohere y el repositorio AWS GitHub, que proporcionan ejemplos adicionales que ilustran diversos casos de uso y aplicaciones.

Limpiar

Una vez que haya terminado de operar la computadora portátil y explorar los modelos Cohere Command R y R+, es importante limpiar los recursos que creó para evitar costos innecesarios. Siga estos pasos para eliminar los recursos y dejar de facturar:

co.delete_endpoint()
co.close()

Diploma

En esta publicación, exploramos cómo puede aprovechar las potentes funciones de los modelos Command R y R+ de Cohere en Amazon SageMaker JumpStart. Estos grandes modelos de lenguaje de última generación están diseñados específicamente para su uso en aplicaciones empresariales del mundo real y ofrecen rendimiento y escalabilidad sin precedentes. Con su disponibilidad en SageMaker JumpStart y AWS Marketplace, ahora tiene acceso perfecto a estos modelos de vanguardia, lo que le permite desbloquear nuevos niveles de productividad e innovación en sus proyectos de procesamiento de lenguaje natural.

Sobre los autores

Pradeep Prabhakaran es arquitecto de soluciones para clientes en Cohere. En su puesto actual en Cohere, Pradeep se desempeña como asesor técnico confiable para clientes y socios, brindando orientación y estrategias para ayudarlos a aprovechar todo el potencial de la plataforma de inteligencia artificial generativa de vanguardia de Cohere. Antes de unirse a Cohere, Pradeep fue director principal de soluciones de clientes en Amazon Web Services, donde dirigió programas de transformación de la nube empresarial para grandes empresas. Antes de AWS, Pradeep ocupó varios puestos de liderazgo en firmas consultoras como Slalom, Deloitte y Wipro. Pradeep tiene una licenciatura en ingeniería y vive en Dallas, Texas.

James Yi es arquitecto senior de soluciones de socios de IA/ML en Amazon Web Services. Lidera las asociaciones estratégicas de AWS en tecnologías emergentes y lidera equipos de ingeniería en el diseño y desarrollo de soluciones colaborativas innovadoras en GenAI. Permite a los equipos de ingeniería y servicios de campo implementar, operar, proteger e integrar sin problemas soluciones de socios en AWS. James trabaja en estrecha colaboración con líderes empresariales para definir e implementar estrategias compartidas de comercialización para impulsar el crecimiento empresarial basado en la nube. Fuera del trabajo, le gusta jugar fútbol, viajar y pasar tiempo con su familia.

[ad_2]

Deja una respuesta Cancelar la respuesta