[ad_1]
Esta publicación de blog fue escrita en coautoría con Hwalsuk Lee en Upstage.
Hoy nos complace anunciar que el modelo de base solar desarrollado por Upstage ya está disponible para los clientes que utilizan Amazon SageMaker JumpStart. Solar es un modelo de lenguaje grande (LLM) 100 % pre-entrenado de Amazon SageMaker que supera su tamaño compacto y su potente historial y se especializa en capacitación diseñada específicamente, lo que lo hace versátil en múltiples idiomas, dominios y tareas.
Ahora puede utilizar Solar Mini Chat y Solar Mini Chat: modelos preentrenados Quant en SageMaker JumpStart. SageMaker JumpStart es el centro de aprendizaje automático (ML) de SageMaker, que brinda acceso a modelos base además de algoritmos integrados para ayudarlo a comenzar con ML rápidamente.
En esta publicación, aprenderá cómo descubrir e implementar el modelo solar a través de SageMaker JumpStart.
¿Cuál es el modelo solar?
Solar es un modelo compacto y potente para inglés y coreano. Está optimizado específicamente para fines de chat de varios turnos y muestra un rendimiento mejorado en una variedad de tareas de procesamiento del lenguaje natural.
El modelo Solar Mini Chat se basa en Solar 10.7B con una estructura Llama 2 de 32 capas y se inicializa con pesos previamente entrenados de Mistral 7B, compatibles con la arquitectura Llama 2. Este ajuste le permite manejar conversaciones más largas de manera más efectiva, lo que lo hace particularmente adecuado para aplicaciones interactivas. Utiliza un método de escalado llamado Depth Up-Scaling (DUS), que consiste en un escalado de profundidad y un entrenamiento previo continuo. DUS permite un escalado mucho más fácil y eficiente de modelos más pequeños que otros métodos de escalado como Expert Mixture (MoE).
En diciembre de 2023, el modelo Solar 10.7B causó sensación al alcanzar la cima de la clasificación Open LLM de Hugging Face. Con muchos menos parámetros, Solar 10.7B ofrece respuestas comparables a GPT-3.5, pero es 2,5 veces más rápido. Además de encabezar la clasificación de Open LLM, Solar 10.7B supera a GPT-4 con modelos especialmente capacitados para dominios y tareas específicos.
La siguiente figura ilustra algunas de estas métricas:
Fuente: https://www.upstage.ai/solar-llm
SageMaker JumpStart le permite implementar modelos previamente entrenados basados en Solar 10.7B: Solar Mini Chat y una versión cuantificada de Solar Mini Chat optimizada para aplicaciones de chat en inglés y coreano. El modelo Solar Mini Chat proporciona una comprensión avanzada de los matices del idioma coreano, lo que mejora significativamente las interacciones de los usuarios en entornos de chat. Proporciona respuestas precisas a las aportaciones del usuario, lo que garantiza una comunicación más clara y una resolución de problemas más eficiente en aplicaciones de chat en inglés y coreano.
Comience con modelos solares en SageMaker JumpStart
Para comenzar con los modelos solares, puede utilizar SageMaker JumpStart, un servicio central de ML totalmente administrado, para implementar modelos de ML prediseñados en un entorno alojado listo para producción. Puede acceder a modelos solares a través de SageMaker JumpStart en Amazon SageMaker Studio, un entorno de desarrollo integrado (IDE) basado en web donde puede acceder a herramientas especialmente diseñadas para realizar todos los pasos de desarrollo de ML, desde la preparación de datos hasta la creación, el entrenamiento y la implementación de su ML. modelos.
En la consola de SageMaker Studio, seleccione Buen inicio en el área de navegación. Puede escribir «solar» en la barra de búsqueda para encontrar los modelos solares de Upstage.
Empleemos el modelo Solar Mini Chat – Quant. Seleccione la tarjeta del modelo para ver detalles sobre el modelo, como: B. la licencia, los datos utilizados para la formación y el uso del modelo. También puedes encontrar uno Insertar Opción que lo lleva a una página de destino donde puede probar la inferencia con una carga útil de muestra.
Este modelo requiere una suscripción a AWS Marketplace. Si ya se suscribió a este modelo y recibió aprobación para usar el producto, puede implementar el modelo directamente.
Si no estás suscrito a este modelo, elige Suscribirse aVaya a AWS Marketplace, lea los términos de precios y el acuerdo de licencia de usuario final (EULA) y elija Aceptar la oferta.
Después de suscribirse al modelo, puede implementar su modelo en un punto final de SageMaker seleccionando los recursos de implementación, como por ejemplo: B. el tipo de instancia y el número de instancias iniciales. Elegir Insertar y espere a que se cree un punto final para la inferencia del modelo. Puedes elegir uno ml.g5.2xlarge por ejemplo, como opción más económica para la conclusión con el modelo solar.
Una vez que su punto final de SageMaker se haya creado correctamente, podrá probarlo en los distintos entornos de aplicaciones de SageMaker.
Ejecute el código de su modelo solar en SageMaker Studio JupyterLab
SageMaker Studio admite varios entornos de desarrollo de aplicaciones, incluido JupyterLab, un conjunto de funciones que amplían la oferta de portátiles totalmente gestionados. Incluye kernels que se inician en segundos, un tiempo de ejecución prediseñado con ciencia de datos popular, marcos de aprendizaje automático y almacenamiento en bloque privado de alto rendimiento. Para obtener más información, consulte SageMaker JupyterLab.
En SageMaker Studio, cree una región de JupyterLab que administre el almacenamiento y los recursos informáticos necesarios para ejecutar la aplicación JupyterLab.
Puede encontrar el código que muestra la implementación del modelo solar en SageMaker JumpStart y un ejemplo del uso del modelo implementado en el repositorio de GitHub. Ahora puede implementar el modelo utilizando SageMaker JumpStart. El siguiente código utiliza la instancia ml.g5.2xlarge predeterminada para Solar Mini Chat: punto final de inferencia del modelo Quant.
Los modelos solares admiten una carga útil de solicitud/respuesta compatible con el punto final de finalización de chat de OpenAI. Puede probar ejemplos de chat de un solo turno o de varios turnos utilizando Python.
# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)
# Multi-turn chat prompt example
input = {
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "Can you provide a Python script to merge two sorted lists?"
},
{
"role": "assistant",
"content": """Sure, here is a Python script to merge two sorted lists:
```python
def merge_lists(list1, list2):
return sorted(list1 + list2)
```
"""
},
{
"role": "user",
"content": "Can you provide an example of how to use this function?"
}
]
}
# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType="application/json", Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print resultHa realizado con éxito una inferencia en tiempo real con el modelo Solar Mini Chat.
Limpiar
Después de probar el punto final, elimine el modelo y el punto final de inferencia de SageMaker para evitar incurrir en cargos.
También puede ejecutar el siguiente código para borrar el punto final y el modo en el cuaderno SageMaker Studio JupyterLab:
# Delete the endpoint
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)
# Delete the model
model.delete_model()Para obtener más información, consulte Eliminar puntos finales y recursos. Además, puede cerrar los recursos de SageMaker Studio que ya no sean necesarios.
Diploma
En esta publicación, le mostramos cómo comenzar con los modelos solares de Upstage en SageMaker Studio e implementar el modelo para inferencia. También le mostramos cómo ejecutar su código Python de muestra en SageMaker Studio JupyterLab.
Dado que los modelos solares están previamente entrenados, pueden ayudar a reducir los costos de capacitación e infraestructura y permitir la personalización de sus aplicaciones de IA generativa.
Pruébelo en la consola SageMaker JumpStart o en la consola SageMaker Studio. También puede ver el siguiente vídeo: «Pruebe Solar con Amazon SageMaker».
Esta guía es sólo para fines informativos. Aún así, debe realizar su propia evaluación independiente y tomar medidas para garantizar el cumplimiento de sus propias prácticas y estándares de control de calidad específicos, así como de las reglas, leyes, regulaciones, licencias y términos de uso locales aplicables a usted, su Contenido, etc. y el modelo de terceros mencionado en esta guía. AWS no tiene control ni autoridad sobre el modelo de terceros mencionado en esta guía y no representa ni garantiza que el modelo de terceros sea seguro, esté libre de virus, operativo o compatible con su entorno y estándares de producción. AWS no declara ni garantiza que la información contenida en esta guía producirá un resultado o resultado particular.
Sobre los autores
channy yun es un defensor principal de desarrolladores en AWS y le apasiona ayudar a los desarrolladores a crear aplicaciones modernas en los últimos servicios de AWS. Es un desarrollador pragmático y bloguero de corazón y le encanta el aprendizaje colaborativo y el intercambio de tecnología.
Hwalsuk Lee es director de tecnología (CTO) de Upstage. Ha trabajado como investigador de IA para Samsung Techwin, NCSOFT y Naver. Está cursando su doctorado en ingeniería informática y eléctrica en el Instituto Avanzado de Ciencia y Tecnología de Corea (KAIST).
Brandon Lee es arquitecto senior de soluciones en AWS y brinda soporte principalmente a grandes clientes de tecnología educativa del sector público. Tiene más de 20 años de experiencia liderando el desarrollo de aplicaciones en empresas globales y grandes corporaciones.
[ad_2]
New Comments