Snowflake lanza su propio modelo insignia para IA generativa

Los modelos de IA generativa, que lo abarcan todo y son altamente generalizables, alguna vez fueron el principio y el fin de todo y posiblemente todavía lo sean. Sin embargo, a medida que más proveedores de nube, grandes y pequeños, se unen a la contienda generativa de la IA, estamos viendo una nueva generación de modelos centrados en el cliente potencial con mayor poder financiero: la empresa.

Un ejemplo: Snowflake, la empresa de computación en la nube, presentó hoy Arctic LLM, un modelo de IA generativa descrito como «de clase empresarial». Disponible bajo una licencia Apache 2.0, Arctic LLM está optimizado para “cargas de trabajo empresariales”, incluida la generación de código de base de datos, según Snowflake, y es gratuito para investigación y uso comercial.

«Creo que esta será la base que nos permitirá a nosotros, Snowflake, y a nuestros clientes crear productos de clase empresarial y comenzar a hacer realidad la promesa y el valor de la IA», dijo el director ejecutivo Sridhar Ramaswamy en un comunicado. “Debería considerar este nuestro primer pero importante paso hacia el mundo de la IA generativa, y habrá muchos más por venir”.

Un modelo corporativo

Mi colega Devin Coldewey escribió recientemente sobre cómo no se vislumbra un final para el ataque de los modelos generativos de IA. Le recomiendo que lea su artículo, pero la esencia es: los modelos son una manera fácil para que los proveedores generen entusiasmo por su I+D, y también sirven como un embudo hacia sus ecosistemas de productos (por ejemplo, alojamiento de modelos, ajuste, etc.). .

Arctic LLM no es diferente. El modelo insignia de Snowflake en una familia de modelos de IA generativa llamada Arctic, Arctic LLM, que tardó alrededor de tres meses, 1.000 GPU y 2 millones de dólares en entrenarse, sigue al DBRX de Databricks, un modelo de IA generativa también conocido como Space que se comercializa optimizado para empresas.

Snowflake hace una comparación directa entre Arctic LLM y DBRX en sus materiales de prensa, diciendo que Arctic LLM supera a DBRX en las dos tareas de codificación (Snowflake no especificó qué lenguajes de programación) y generación de SQL. La compañía dijo que Arctic LLM también es mejor en estas tareas que el Llama 2 70B de Meta (pero no el Llama 3 70B más nuevo) y el Mixtral-8x7B de Mistral.

Snowflake también afirma que Arctic LLM logra un «rendimiento líder» en un popular punto de referencia de comprensión del lenguaje general, MMLU. Sin embargo, me gustaría señalar que MMLU Se pretende evaluar la capacidad de los modelos generativos para resolver problemas lógicos. Incluye pruebas que se pueden resolver memorizando. Así que toma este punto con cautela.

«Arctic LLM aborda necesidades específicas en el sector empresarial», dijo Baris Gultekin, director de IA de Snowflake, en una entrevista con TechCrunch, «y se aleja de las aplicaciones genéricas de IA, como la escritura de poesía, para centrarse en desafíos centrados en los negocios, como el desarrollo» para centrarse en colaboraciones SQL «. Pilotos y chatbots de alta calidad «.

Arctic LLM, al igual que DBRX y la versión generativa más potente actual de Google, Gemini 1.5 Pro, es una combinación de Arquitectura Experta (MoE). Las arquitecturas MoE fundamentalmente dividen las tareas de procesamiento de datos en subtareas y luego las delegan a modelos “expertos” especializados más pequeños. Entonces, aunque Arctic LLM contiene 480 mil millones de parámetros, solo activa 17 mil millones a la vez, suficiente para impulsar los 128 modelos expertos separados. (Los parámetros definen esencialmente las capacidades de un modelo de IA para un problema, como analizar y generar texto).

Snowflake afirma que este diseño eficiente le permitió entrenar Arctic LLM en conjuntos de datos web públicos abiertos (incluidos RefinedWeb, C4, RedPajama y StarCoder) a «aproximadamente una octava parte del costo de modelos similares».

Corre a todas partes

Snowflake proporciona recursos como plantillas de codificación y una lista de fuentes de capacitación junto con Arctic LLM para guiar a los usuarios a través del proceso de ejecutar el modelo y optimizarlo para casos de uso específicos. Sin embargo, reconociendo que estas probablemente sean tareas costosas y complejas para la mayoría de los desarrolladores (para ajustar o ejecutar Arctic LLM se requieren alrededor de ocho GPU), Snowflake también promete que Arctic LLM esté disponible en una variedad de hosts, incluidos Hugging Face y Microsoft Azure, Together. Servicio de alojamiento de modelos de IA y plataforma de IA generativa empresarial Lamini.

Pero aquí está el truco: Arctic LLM estará disponible Primero en Cortex, la plataforma de Snowflake para desarrollar aplicaciones y servicios basados ​​en IA y aprendizaje automático. No es sorprendente que la compañía lo promocione como la forma preferida de ejecutar Arctic LLM con “seguridad”, “gobernanza” y escalabilidad.

“Nuestro sueño aquí es tener una API dentro de un año que nuestros clientes puedan utilizar para permitir a los usuarios comerciales comunicarse directamente con los datos”, dijo Ramaswamy. “Eso habría sido todo Fue fácil para nosotros decir: «Oh, simplemente esperaremos un modelo de código abierto y lo usaremos». En cambio, hacemos una inversión fundamental debido a nuestra forma de pensar. [it’s] Ofreceremos a nuestros clientes más valor añadido”.

Entonces me pregunto: ¿para quién es realmente adecuado Arctic LLM, aparte de los clientes de Snowflake?

En un panorama lleno de modelos generativos “abiertos” que pueden ajustarse para prácticamente cualquier propósito, Arctic LLM no destaca de ninguna manera. Su arquitectura podría generar eficiencias en comparación con otras opciones del mercado. Sin embargo, no estoy convencido de que sean lo suficientemente dramáticos como para alejar a las empresas de los innumerables otros modelos generativos favorables a las empresas, conocidos y respaldados (por ejemplo, GPT-4).

También hay una razón por la que Arctic LLM es desfavorable: su contexto relativamente pequeño.

En la IA generativa, la ventana de contexto se refiere a los datos de entrada (por ejemplo, texto) que un modelo considera antes de generar resultados (por ejemplo, más texto). Los modelos con ventanas de contexto pequeñas tienden a olvidar el contenido incluso de conversaciones muy recientes, mientras que los modelos con contextos más grandes suelen evitar este peligro.

El contexto de Arctic LLM varía entre aproximadamente 8.000 y aproximadamente 24.000 palabras, dependiendo del método de ajuste, muy por debajo del de modelos como Claude 3 Opus de Anthropic y Gemini 1.5 Pro de Google.

Snowflake no lo menciona en el marketing, pero es casi seguro que Arctic LLM sufre las mismas limitaciones y deficiencias que otros modelos de IA generativa, es decir, alucinaciones (es decir, autoconsciencia, respuesta incorrecta a consultas). Esto se debe a que Arctic LLM, como cualquier otro modelo de IA generativa que existe, es un motor de probabilidad estadística, una máquina que, a su vez, tiene una pequeña ventana de contexto. Utiliza una variedad de ejemplos para adivinar qué datos tiene más “sentido” colocar en cada lugar (por ejemplo, la palabra “ir” antes de “el mercado” en la oración “voy al mercado”). Inevitablemente adivinarás mal, y eso es una “alucinación”.

Como escribe Devin en su artículo, sólo podemos esperar mejoras incrementales hasta el próximo gran avance tecnológico en IA generativa. Pero eso no impedirá que proveedores como Snowflake los glorifiquen como grandes logros y los comercialicen de todas las formas posibles.