[ad_1]
Kolena, una startup que desarrolla herramientas para probar, comparar y validar el rendimiento de modelos de IA, anunció hoy que ha recaudado 15 millones de dólares en una ronda de financiación liderada por Lobby Capital con la participación de SignalFire y Bloomberg Beta.
La nueva financiación eleva los ingresos totales de Kolena a 21 millones de dólares y se destinará a ampliar el equipo de investigación de la empresa, trabajar con los reguladores y ampliar los esfuerzos de ventas y marketing de Kolena, dijo el cofundador y director ejecutivo Mohamed Elgendy a TechCrunch en una entrevista por correo electrónico.
«Los casos de uso de la IA son enormes, pero la IA carece de confianza tanto entre los constructores como entre el público», afirmó Elgendy. “Esta tecnología debe introducirse de manera que mejore, no peor, las experiencias digitales. El genio no volverá a la botella, pero como industria podemos asegurarnos de que estamos haciendo las solicitudes correctas”.
Elgendy fundó Kolena en 2021 con Andrew Shi y Gordon Hart, con quienes había trabajado durante unos seis años en departamentos de IA de empresas como Amazon, Palantir, Rakuten y Synapse. A través de Kolena, el trío quería crear un «marco de calidad de modelo» que permitiera realizar pruebas unitarias y de extremo a extremo para modelos en un paquete personalizable y amigable para los negocios.
«En primer lugar, queríamos ofrecer un nuevo marco para la calidad de los modelos, no sólo una herramienta que simplifique los enfoques actuales», afirmó Elgendy. “Kolena permite la ejecución continua de pruebas a nivel de escenario o pruebas unitarias. También permite realizar pruebas de un extremo a otro de todo el producto de inteligencia artificial y aprendizaje automático, no solo de sus subcomponentes”.
Con este fin, Kolena puede proporcionar información para identificar lagunas en la cobertura de datos de las pruebas de modelos de IA, afirma Elgendy. Y la plataforma incluye funciones de gestión de riesgos que ayudan a rastrear los riesgos asociados con el uso de un sistema (o sistemas) de IA en particular. La interfaz de Kolena permite a los usuarios crear casos de prueba para evaluar el rendimiento de un modelo e identificar posibles razones del bajo rendimiento de un modelo mientras compara su rendimiento con otros modelos.
«Con Kolena, los equipos pueden gestionar y ejecutar pruebas para escenarios específicos que el producto de IA necesita manejar, en lugar de aplicar una métrica ‘agregada’ general, como una puntuación de precisión, que puede oscurecer los detalles del rendimiento de un modelo», dijo Elgendy. “Por ejemplo, un modelo con un 95% de precisión en la detección de automóviles no es necesariamente mejor que uno con un 89% de precisión. Cada uno tiene sus propias fortalezas y debilidades, p.e. “Por ejemplo, detectar coches en diferentes condiciones climáticas o niveles de oclusión, detectar la orientación de un coche, etc.”
Si Kolena funciona como se anuncia, podría resultar útil para los científicos de datos que dedican mucho tiempo a crear modelos para aplicaciones de inteligencia artificial.
Según una encuesta, los ingenieros de IA dedican solo el 20% de su tiempo a analizar y desarrollar modelos, mientras que el resto lo dedican a buscar y limpiar los datos que los entrenan. Otro informe señala que debido a los desafíos que implica desarrollar modelos de rendimiento precisos, solo alrededor del 54% de los modelos finalmente pasan del piloto a la producción.
Pero también hay otros actores que desarrollan herramientas para probar, monitorear y validar modelos. Además de empresas establecidas como Amazon, Google y Microsoft, numerosas empresas emergentes están probando enfoques novedosos para medir la precisión de los modelos antes y después de su entrada en producción.
Prolific recaudó recientemente 32 millones de dólares para su plataforma para entrenar y probar modelos de IA utilizando una red colaborativa de probadores. Mientras tanto, Robust Intelligence y Deepchecks están desarrollando sus propios conjuntos de herramientas para que las empresas eviten que los modelos de IA fallen y los validen continuamente. Y Bobidi recompensa a los desarrolladores por probar los modelos de IA de las empresas.
Sin embargo, Elgendy sostiene que la plataforma de Kolena es una de las pocas que permite a los clientes tomar «control total» sobre los tipos de datos, la lógica de puntuación y otros componentes que componen una prueba de modelo de IA. También destaca el enfoque de Kolena en materia de protección de datos, que evita que los clientes tengan que subir sus datos o modelos a la plataforma; Kolena almacena los resultados de las pruebas del modelo solo para evaluaciones comparativas futuras, que pueden eliminarse si se solicita.
«Minimizar el riesgo con un sistema de inteligencia artificial y aprendizaje automático requiere pruebas rigurosas antes de su implementación, pero las empresas no cuentan con herramientas o procesos sólidos en torno a la validación de modelos», dijo Elgendy. Las pruebas de modelos ad hoc son ahora la norma y, desafortunadamente, tampoco superan las pruebas de concepto del aprendizaje automático. Kolena se centra en una evaluación de modelos integral y exhaustiva. Brindamos a los gerentes de aprendizaje automático, gerentes de productos y ejecutivos una visibilidad sin precedentes de la cobertura de pruebas de un modelo y los requisitos de características específicas del producto, lo que les permite influir de manera efectiva en la calidad del producto desde el principio”.
Kolena, con sede en San Francisco, que cuenta con 28 empleados a tiempo completo, no reveló la cantidad de clientes con los que trabaja actualmente. Sin embargo, Elgendy dijo que la compañía está adoptando un «enfoque selectivo» para trabajar con empresas «de misión crítica» por ahora y planea lanzar paquetes de equipo para empresas medianas y nuevas empresas de IA en etapa inicial en el segundo trimestre de 2024.
[ad_2]