Examine sus etiquetas de datos con una herramienta visual sin código para crear conjuntos de datos de entrenamiento de alta calidad con Amazon SageMaker Ground Truth Plus

Presentado en AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus lo ayuda a crear conjuntos de datos de capacitación de alta calidad al eliminar el trabajo pesado no diferenciado asociado con la creación de aplicaciones de etiquetado de datos y la administración del personal de etiquetado. Todo lo que hace es compartir datos junto con las necesidades de etiquetado, y Ground Truth Plus alinea y administra su flujo de trabajo de etiquetado de datos en función de esas necesidades. A partir de ahí, un personal experto capacitado en una variedad de tareas de aprendizaje automático (ML) realiza el etiquetado de datos. Ni siquiera necesita un conocimiento profundo de ML o conocimiento de diseño de flujo de trabajo y gestión de calidad para usar Ground Truth Plus.

La creación de un conjunto de datos de entrenamiento de alta calidad para su algoritmo ML es un proceso iterativo. Los profesionales de ML a menudo crean sistemas personalizados para verificar las etiquetas de datos, ya que los datos etiquetados con precisión son fundamentales para la calidad de los modelos de ML. Para asegurarse de obtener datos de entrenamiento de alta calidad, Ground Truth Plus le proporciona una interfaz de usuario integrada (UI de revisión) para revisar la calidad de las etiquetas de datos y proporcionar comentarios sobre las etiquetas de datos hasta que esté satisfecho de que las etiquetas reflejan con precisión el terreno. verdad o lo que es directamente observable en el mundo real.

Esta publicación lo guiará a través de los pasos para crear un equipo de proyecto y usar varias funciones nuevas integradas de la herramienta Revisar IU para completar de manera eficiente la inspección de un registro marcado. El tutorial asume que tiene un proyecto de etiquetado de Ground Truth Plus activo. Para obtener más información, consulte Amazon SageMaker Ground Truth Plus: cree conjuntos de datos de capacitación sin código ni recursos internos.

Formar un equipo de proyecto

Un equipo de proyecto concede a los miembros de su organización acceso para revisar las etiquetas de datos mediante la herramienta Revisar interfaz de usuario. Complete los siguientes pasos para configurar un equipo de proyecto:

1. Seleccione en la consola Ground Truth Plus Crear equipo de proyecto.
2. Elegir Crear un nuevo grupo de usuarios de Amazon Cognito . Si ya tiene un grupo de usuarios de Amazon Cognito existente, selecciónelo Importar miembros Posibilidad.
3. Hacia Nombre del grupo de usuarios de Amazon Cognito, Ingresa un nombre. Este nombre no se puede cambiar.
4. Hacia Dirección de correo electrónicoingrese las direcciones de correo electrónico de hasta 50 miembros del equipo, separados por comas.
5. Elegir Crear equipo de proyecto.

Los miembros de su equipo recibirán un correo electrónico invitándolos a unirse al equipo del proyecto Ground Truth Plus. Desde allí, pueden iniciar sesión en el portal del proyecto Ground Truth Plus para revisar las etiquetas de datos.

Comprobar la calidad del registro etiquetado

Ahora profundicemos en un ejemplo de seguimiento de objetos de video utilizando el conjunto de datos CBCL StreetScenes.

Después de etiquetar los datos en su lote, el lote se etiqueta como Listo para revisar.

Seleccione el lote y elija revisa la pila. Será redirigido a la interfaz de revisión. Tiene la flexibilidad de elegir una frecuencia de muestreo diferente para cada lote que inspeccione. Por ejemplo, en nuestra pila de ejemplos, tenemos un total de cinco videos. Puede indicar si desea ver solo una parte de estos cinco videos o todos.

Ahora veamos las diversas funcionalidades dentro de la interfaz de usuario de revisión que lo ayudan a revisar la calidad del registro marcado más rápido y proporcionar comentarios sobre la calidad:

• Filtrar las etiquetas según la categoría de la etiqueta – Dentro de la interfaz de usuario de revisión, en el panel derecho, puede filtrar las etiquetas según su categoría de etiqueta. Esta función es útil cuando hay varias categorías de etiquetas (p. Vehicles, Pedestriansy Poles) en un objeto de conjunto de datos denso y desea mostrar etiquetas para una categoría de etiqueta a la vez. Por ejemplo, centrémonos en el Car categoría de etiqueta. Introducir el Car Categoría de etiqueta en el panel derecho para filtrar solo por todas las anotaciones de tipo Car. Las siguientes capturas de pantalla muestran la vista de IU de revisión antes y después de aplicar el filtro.
  
• Superponer valores de atributos anotados asociados – A cada etiqueta se le pueden asignar atributos a comentar. Por ejemplo, para la categoría de etiqueta Car diga que quiere pedirles a los trabajadores que comenten sobre eso también Color y Occlusion Atributos para cada instancia de etiqueta. Cuando cargue la IU de revisión, verá los atributos correspondientes debajo de cada instancia de etiqueta en el panel derecho. Pero, ¿qué sucede si desea ver esas anotaciones de atributos directamente en la imagen? Seleccionas la etiqueta Car:1 y superponer las anotaciones de atributos para Car:1 tu empujas Ctrl+A
  Ahora ves la anotación Dark Blue Para el Color atributo y anotación None Para el Occlusion Atributo que se muestra directamente en la imagen al lado del Car:1 cuadro delimitador. Ahora puedes comprobarlo fácilmente Car:1 fue marcado como Dark Bluesin oclusión, simplemente mirando la imagen en lugar de tener que localizarla Car:1 en el panel derecho para ver las anotaciones de atributos.
  
• Dejar comentarios a nivel de etiqueta – Para cada etiqueta, puede dejar comentarios a nivel de etiqueta en esa etiqueta retroalimentación de la etiqueta atributo de cadena libre. En esta imagen, por ej. Car:1 se ve más negro que azul oscuro. Puede reenviar esta discrepancia como comentario para Car:1 Uso de retroalimentación de la etiqueta Campo para rastrear el comentario en esta etiqueta en este cuadro. Nuestro equipo de control de calidad interno revisará estos comentarios y realizará cambios en el proceso de anotación y las pautas de etiquetado, y capacitará a los anotadores según sea necesario.
  
• Dejar comentarios a nivel de marco – Del mismo modo, para cada cuadro, puede dejar comentarios en el nivel de cuadro debajo del cuadro retroalimentación del cuadro atributo de cadena libre. En este caso, las anotaciones de Car y Pedestrian Las clases se ven correctas y bien implementadas en este marco. Puede transmitir esta retroalimentación positiva con Dar opinion y su comentario se vinculará a este marco.
  
• Copie los comentarios de los comentarios en otros marcos – Puede copiar comentarios a otros marcos tanto a nivel de etiqueta como de marco haciendo clic con el botón derecho en este atributo. Esta función es útil cuando desea duplicar los mismos comentarios en los marcos para esta etiqueta, o aplicar los mismos comentarios a nivel de marco a varios marcos. Esta función le permite completar rápidamente la verificación de la etiqueta de datos.
  
• Aprobar o rechazar cualquier objeto de registro – Para cada objeto del conjunto de datos que revise, tiene la opción de elegir uno de los dos Autorizar si está satisfecho con los comentarios o elija Rechazar si no está satisfecho y desea que se revisen estas notas. Si tu escoges Enviar, tiene la opción de aprobar o rechazar el video que acaba de revisar. En ambos casos puedes añadir comentarios adicionales:
  • si tu escoges Autorizarel comentario es opcional.
    
  • si tu escoges Rechazar, Se requieren comentarios y le animamos a proporcionar comentarios detallados. Un equipo dedicado de control de calidad de Ground Truth Plus revisará sus comentarios y tomará medidas correctivas para evitar errores similares en videos posteriores.
    

Después de enviar el video con sus comentarios, volverá a la página de detalles del proyecto en el portal del proyecto, donde puede ver la cantidad de elementos rechazados a continuación. Elementos rechazados Columna y la tasa de error, que se calcula como el número de objetos aceptados de los objetos marcados en el nivel de aceptación Columna para cada pila en su proyecto. Por ejemplo, para el lote 1 en la siguiente captura de pantalla, la tasa de aceptación es del 80 % porque se aceptaron cuatro de los cinco elementos marcados.

Conclusión

Un conjunto de datos de entrenamiento de alta calidad es fundamental para lograr sus iniciativas de ML. Con Ground Truth Plus, ahora tiene una herramienta de interfaz de usuario de verificación incorporada mejorada que elimina el trabajo pesado no diferenciado asociado con la creación de herramientas personalizadas para verificar la calidad del conjunto de datos marcado. Esta publicación lo guió a través de la configuración de un equipo de proyecto y el uso de las nuevas funciones integradas de la herramienta Revisar IU. Visite la consola de Ground Truth Plus para comenzar.

Como siempre, AWS agradece los comentarios. Por favor envíe comentarios o preguntas.

Sobre el Autor

Goel maníaco es Gerente de Producto de Amazon SageMaker Ground Truth Plus. Se centra en la creación de productos que faciliten a los clientes la adopción del aprendizaje automático. En su tiempo libre, le gusta conducir y leer libros.

Revekka Kostoeva es ingeniera de desarrollo de software en Amazon AWS, donde trabaja en soluciones internas y centradas en el cliente para ampliar la amplitud y la escalabilidad de los servicios de Sagemaker Ground Truth. Como investigadora, se esfuerza por mejorar las herramientas del comercio para impulsar la innovación.