[ad_1]
Esta es una publicación de cliente escrita en coautoría por empleados de ICL y AWS.
ICL es una empresa multinacional de fabricación y minería con sede en Israel que produce productos basados en minerales únicos y satisface las necesidades básicas de la humanidad principalmente en tres mercados: agricultura, alimentos y materiales técnicos. Sus sitios mineros utilizan instalaciones industriales que necesitan ser monitoreadas, ya que las fallas de las máquinas pueden provocar pérdida de ingresos o incluso daños ambientales. Debido a las condiciones extremadamente duras (temperaturas altas y bajas, vibraciones, agua salada, polvo), es difícil conectar sensores a estas máquinas mineras para el monitoreo remoto. Por lo tanto, la mayoría de las máquinas son monitoreadas continuamente de forma manual o visual por los empleados en el sitio. Estos trabajadores suelen revisar las imágenes de las cámaras para controlar el estado de una máquina. Aunque este enfoque ha funcionado en el pasado, no es escalable y tiene un costo relativamente alto.
Para superar este desafío empresarial, ICL decidió desarrollar capacidades internas para aprovechar el aprendizaje automático (ML) para la visión por computadora (CV) para monitorear automáticamente sus máquinas mineras. Como empresa minera tradicional, la disponibilidad de recursos internos con habilidades en ciencia de datos, CV o ML era limitada.
En esta publicación discutiremos lo siguiente:
- Cómo desarrolló ICL las capacidades internas para desarrollar y mantener soluciones CV que permitan el monitoreo automatizado de equipos mineros para mejorar la eficiencia y reducir los desechos
- Una inmersión profunda en una solución de evaluación minera desarrollada con el apoyo del programa de creación de prototipos de AWS
Utilizando el enfoque descrito en esta publicación, ICL pudo desarrollar un marco en AWS utilizando Amazon SageMaker para crear otros casos de uso basados en el procesamiento de imágenes extraídas de alrededor de 30 cámaras, con la posibilidad de escalar a miles de dichas cámaras en sus ubicaciones de producción finales. .
Creación de capacidades internas mediante la creación de prototipos de AWS
La creación y el mantenimiento de soluciones de aprendizaje automático para cargas de trabajo críticas para el negocio requieren personal adecuadamente capacitado. A menudo no es posible subcontratar estas actividades porque los conocimientos internos sobre los procesos de negocio deben combinarse con el desarrollo de soluciones técnicas. Entonces, ICL recurrió a AWS para que los ayudara a desarrollar una solución CV para monitorear sus equipos de minería y adquirir las habilidades necesarias.
AWS Prototyping es un programa de inversión en el que AWS integra especialistas en equipos de desarrollo de clientes para desarrollar casos de uso críticos para el negocio. Durante dicho compromiso, el equipo de desarrollo del cliente está expuesto a las tecnologías subyacentes de AWS mientras crea el caso de uso y recibe ayuda práctica durante un período de tres a seis semanas. Además del caso de uso correspondiente, el cliente sólo necesita entre 3 y 7 desarrolladores que puedan invertir más del 80% de su tiempo de trabajo en el desarrollo del caso de uso mencionado anteriormente. Durante este tiempo, los especialistas de AWS están completamente asignados al equipo del cliente y trabajan con ellos de forma remota o in situ.
Caso de uso de visión por computadora de ICL
Para el trabajo de creación de prototipos, ICL seleccionó el caso de uso para monitorear sus filtros de minería. Un tamiz es una gran máquina minera industrial que procesa minerales disueltos en agua. El agua fluye hacia abajo en varios carriles desde la parte superior de la máquina. La afluencia se controla individualmente para cada uno de los carriles. Cuando el flujo de entrada se desvía, se llama desbordamiento, lo que indica que la máquina está sobrecargada. El flujo desbordante involucra minerales que no son procesados por el tamiz y se pierden. Esto debe evitarse regulando el flujo de entrada. Sin una solución de aprendizaje automático, el desbordamiento deberá ser monitoreado por humanos y puede llevar algún tiempo observarlo y resolverlo.
Las siguientes imágenes muestran las entradas y salidas de los modelos CV. La imagen sin procesar de la cámara (izquierda) se procesa utilizando un modelo de segmentación semántica (centro) para detectar los diferentes carriles. Luego, el modelo (derecha) estima la cobertura (blanco) y el desbordamiento (rojo).
Aunque el proyecto de creación de prototipos se centró en un solo tipo de máquina, el enfoque general de usar cámaras y procesar automáticamente sus imágenes mientras se usa CV es aplicable a una gama más amplia de máquinas de minería. Esto permite a ICL transferir los conocimientos adquiridos durante el trabajo de creación de prototipos a otras ubicaciones, tipos de cámaras y máquinas y mantener los modelos ML sin soporte de terceros.
Durante el compromiso, los especialistas de AWS y el equipo de desarrollo de ICL se reunieron diariamente y desarrollaron juntos la solución paso a paso. Los científicos de datos de ICL trabajaron de forma independiente en las tareas asignadas o recibieron soporte práctico de programación en pareja de especialistas de AWS ML. Este enfoque garantiza que los científicos de datos de ICL no solo adquieran experiencia en el desarrollo sistemático de modelos de aprendizaje automático utilizando SageMaker, sino que también integren estos modelos en aplicaciones y automaticen todo el ciclo de vida de dichos modelos, incluido el reentrenamiento automatizado o el monitoreo de modelos. Después de cuatro semanas de colaboración, ICL pudo pasar este modelo a producción en ocho semanas sin ningún soporte adicional y desde entonces ha creado modelos para otros casos de uso. El enfoque técnico de este compromiso se describe en la siguiente sección.
Monitoreo de cribas mineras usando modelos CV con SageMaker
SageMaker es una plataforma totalmente administrada que cubre todo el ciclo de vida de un modelo de ML: proporciona servicios y características que ayudan a los equipos a trabajar en modelos de ML, desde etiquetar sus datos en Amazon SageMaker Ground Truth hasta el entrenamiento y optimización del modelo para alojar modelos de ML para uso de producción. Antes del trabajo, ICL instaló las cámaras y recibió imágenes como se muestra en las imágenes anteriores (imagen del extremo izquierdo) y las almacenó en un depósito de Amazon Simple Storage Service (Amazon S3). Antes de poder entrenar modelos, se deben generar datos de entrenamiento. El equipo conjunto ICL-AWS abordó este tema en tres pasos:
- Etiquete los datos utilizando un trabajo de etiquetado de segmentación semántica en SageMaker Ground Truth, como se muestra en la siguiente imagen.
- Preprocese las imágenes etiquetadas utilizando técnicas de aumento de imágenes para aumentar la cantidad de muestras de datos.
- Divida las imágenes etiquetadas en conjuntos de entrenamiento, prueba y validación para que el rendimiento y la precisión del modelo puedan medirse adecuadamente durante el proceso de entrenamiento.
Para alcanzar la escala de producción de cargas de trabajo de aprendizaje automático, automatizar estos pasos es fundamental para mantener la calidad de la capacitación. Por lo tanto, los pasos de preprocesamiento y división se realizan automáticamente cuando se etiquetan nuevas imágenes con SageMaker Ground Truth y los conjuntos de datos resultantes se almacenan en Amazon S3, como se muestra en el siguiente diagrama como un flujo de trabajo de entrenamiento de modelo. Del mismo modo, el flujo de trabajo de implementación del modelo aprovecha los activos de SageMaker para actualizar automáticamente los puntos finales cuando hay un modelo actualizado disponible.
ICL utiliza múltiples enfoques para implementar modelos de ML en producción. Algunos están utilizando su plataforma de inteligencia artificial actual llamada KNIME, que les permite poner rápidamente en producción modelos desarrollados en el entorno de desarrollo industrializándolos en productos. Se analizaron varias combinaciones de uso de servicios KNIME y AWS. La arquitectura anterior era la más adecuada para el entorno ICL.
El algoritmo de segmentación semántica incorporado de SageMaker se utiliza para entrenar modelos para la segmentación del área de la cuadrícula de cribado. Al elegir este algoritmo incorporado en lugar de un contenedor autoconstruido, ICL no tiene que lidiar con el trabajo pesado indiferenciado de administrar una red neuronal convolucional (CNN) y al mismo tiempo puede usar dicha CNN para su caso de uso. Después de experimentar con diferentes configuraciones y parámetros, ICL utilizó un algoritmo de red totalmente convolucional (FCN) con una red de análisis de escenas piramidales (PSPNet) para entrenar el modelo. Esto permitió a ICL completar la construcción del modelo dentro de una semana después del pedido de creación del prototipo.
Una vez entrenado un modelo, se debe implementar para que pueda usarse para el monitoreo de examinadores. De acuerdo con la capacitación del modelo, este proceso está completamente automatizado y orquestado mediante AWS Step Functions y AWS Lambda. Una vez que el modelo se implementa con éxito en el punto final de SageMaker, se cambia el tamaño de las imágenes entrantes de las cámaras para que se ajusten al formato de entrada del modelo y luego se introducen en el punto final para realizar predicciones utilizando funciones Lambda. Luego, el resultado de la predicción de segmentación semántica y la detección de desbordamiento se almacenan en Amazon DynamoDB y Amazon S3 para su análisis posterior. Cuando se detecta un desbordamiento, se pueden utilizar las funciones de Amazon Simple Notification Service (Amazon SNS) o Lambda para mitigar automáticamente el desbordamiento y controlar los seguimientos apropiados en el evaluador afectado. El siguiente diagrama ilustra esta arquitectura.
Diploma
Esta publicación describió cómo ICL, una empresa minera israelí, desarrolló su propio enfoque de visión por computadora para el monitoreo automatizado de equipos mineros mediante cámaras. Primero mostramos cómo abordar un desafío de este tipo desde una perspectiva organizacional centrada en la habilitación y luego brindamos información detallada sobre la construcción del modelo utilizando AWS. Aunque el desafío de monitoreo puede ser exclusivo de ICL, el enfoque general de creación conjunta de prototipos con especialistas de AWS se puede aplicar a desafíos similares, particularmente para organizaciones que no tienen el conocimiento requerido de AWS.
Si desea aprender cómo crear un prototipo de su caso de uso a escala de producción, comuníquese con el equipo de su cuenta de AWS para analizar un proyecto de creación de prototipos.
Sobre los autores
Markus Bestehorn Lidera los equipos de desarrollo de clientes y creación de prototipos en Alemania, Austria, Suiza e Israel para AWS. Tiene un doctorado en informática y se especializa en el desarrollo de soluciones complejas de aprendizaje automático y IoT.
David Abekasis Lidera el equipo de ciencia de datos de ICL Group con pasión por educar a otros sobre análisis de datos y aprendizaje automático mientras ayuda a resolver desafíos comerciales. Tiene una maestría en ciencia de datos y un MBA. Tuvo la suerte de explorar datos de series espaciales y temporales en el campo de la agricultura de precisión.
Ion Cleofas es arquitecto senior de creación de prototipos de aprendizaje automático con una maestría en ciencia de datos y big data. Ayuda a los clientes de AWS a crear soluciones innovadoras de IA/ML familiarizando a sus equipos técnicos con las tecnologías de AWS mediante el desarrollo colaborativo de prototipos para casos de uso sofisticados de aprendizaje automático, allanando su camino hacia la producción.
Mirón Perel Es director principal de desarrollo empresarial de aprendizaje automático en Amazon Web Services. Miron asesora a empresas de IA generativa sobre la construcción de sus modelos de próxima generación.
[ad_2]