[ad_1]
Las notas de las reuniones son una parte importante de la colaboración, pero a menudo pasan desapercibidas. Al dirigir debates, escuchar atentamente y escribir notas, es fácil perder información importante sin que nos demos cuenta. Incluso cuando se capturan notas, pueden estar desorganizadas o ser ilegibles, lo que las vuelve inútiles.
En esta publicación, exploramos cómo crear automáticamente resúmenes limpios y concisos de grabaciones de video o audio usando Amazon Transcribe y Amazon Bedrock. Ya sea una reunión interna del equipo, una conferencia telefónica o una conferencia telefónica sobre ganancias, este enfoque puede ayudarlo a concentrar horas de contenido en los puntos esenciales.
Analizaremos una solución para transcribir una reunión del equipo del proyecto y resumiremos los hallazgos clave utilizando Amazon Bedrock. También analizamos cómo adaptar esta solución a otros escenarios comunes, como conferencias de cursos, entrevistas y reuniones de ventas. Continúe leyendo para simplificar y automatizar su proceso de toma de notas.
Descripción general de la solución
Al combinar Amazon Transcribe y Amazon Bedrock, puede ahorrar tiempo, capturar información y mejorar la colaboración. Amazon Transcribe es un servicio de reconocimiento automático de voz (ASR) que facilita la adición de capacidades de conversión de voz a texto a las aplicaciones. Utiliza tecnologías avanzadas de aprendizaje profundo para convertir con precisión datos de audio en texto. Amazon Bedrock es un servicio totalmente administrado que ofrece una selección de potentes modelos base (FM) de empresas líderes en inteligencia artificial, como AI21 Labs, Anthropic, Cohere, Meta, Stability AI y Amazon con una única API y una amplia gama de capacidades que puede utilizar para Necesidad de crear aplicaciones de IA generativa. Amazon Bedrock le permite experimentar fácilmente con una variedad de FM principales y adaptarlos de forma privada a sus datos mediante técnicas como el ajuste fino y la generación aumentada de recuperación (RAG).
La solución presentada en esta publicación se organiza mediante una máquina de estado de AWS Step Functions que se activa cuando carga una grabación en el depósito de Amazon Simple Storage Service (Amazon S3) especificado. Step Functions le permite crear flujos de trabajo sin servidor para orquestar y conectar componentes en los servicios de AWS. Maneja la complejidad subyacente para que usted pueda concentrarse en la lógica de la aplicación. Es útil para la coordinación de tareas, procesamiento distribuido, ETL (extracción, transformación y carga) y automatización de procesos comerciales.
El siguiente diagrama ilustra la arquitectura de la solución de alto nivel.
El flujo de trabajo de la solución incluye los siguientes pasos:
- Un usuario guarda una grabación en el depósito de activos de S3.
- Esta acción activa la máquina de estado de resumen y transcripción de la función de paso.
- Como parte de la máquina de estado, se activa una función AWS Lambda, que transcribe la grabación mediante Amazon Transcribe y almacena la transcripción en el depósito de activos.
- Una segunda función Lambda recupera la transcripción y genera un resumen utilizando el modelo Anthropic-Claude en Amazon Bedrock.
- Finalmente, una función Lambda final utiliza Amazon Simple Notification Service (Amazon SNS) para enviar un resumen de la grabación al destinatario.
Esta solución es compatible en regiones donde Anthropic Claude está disponible en Amazon Bedrock.
La máquina de estados organiza los pasos para ejecutar las tareas específicas. El siguiente diagrama ilustra el proceso detallado.
requisitos
Los usuarios de Amazon Bedrock deben solicitar acceso a los modelos antes de que estén disponibles para su uso. Esta es una promoción única. Esta solución requiere que habilite el acceso al modelo Anthropic Claude (no a Anthropic Claude Instant) en Amazon Bedrock. Para obtener más información, consulte Acceso al modelo.
Proporcionar recursos de solución
La solución se implementa mediante una plantilla de AWS CloudFormation, que se encuentra en el repositorio de GitHub, para aprovisionar automáticamente los recursos necesarios en su cuenta de AWS. La plantilla requiere los siguientes parámetros:
- Dirección de correo electrónico utilizada para enviar el resumen. – El resumen se enviará a esta dirección. Debe confirmar el primer correo electrónico de confirmación de Amazon SNS antes de recibir más notificaciones.
- Instrucciones resumidas – Estas son las instrucciones que se le dan al modelo de Amazon Bedrock para generar el resumen.
Ejecute la solución
Después de implementar la solución mediante AWS CloudFormation, complete los siguientes pasos:
- Confirme la confirmación por correo electrónico de Amazon SNS que debería recibir momentos después de crear la pila de CloudFormation.
- En la consola de AWS CloudFormation, navegue hasta la pila que acaba de crear.
- en la pila Salidas Haga clic en la pestaña y busque el valor asociado.
AssetBucketName
; Se verá algo como estosummary-generator-assetbucket-xxxxxxxxxxxxx
. - En la consola de Amazon S3, navegue hasta su depósito de activos.
Sube tus grabaciones aquí. Los formatos de archivo válidos son MP3, MP4, WAV, FLAC, AMR, OGG y WebM.
- Sube tu grabación
recordings
Carpeta.
La carga de grabaciones activa automáticamente la máquina de estado de Step Functions. Para este ejemplo, usaremos una grabación de muestra de una reunión de equipo en sample-recording
Directorio del repositorio de GitHub.
- En la consola de Step Functions, navegue hasta la máquina de estado del Generador de resumen.
- Seleccione el nombre de la máquina de estado ejecutada con el estado Correr.
Aquí puede seguir el progreso de la máquina de estado mientras procesa la grabación.
- Después de que alcance su Éxito Indique que debería recibir un resumen de la grabación por correo electrónico.
Alternativamente, puede navegar hasta el depósito de Activos de S3 y ver la transcripción en la carpeta Transcripciones.
Mira el resumen
Recibirá el resumen de la grabación por correo electrónico a la dirección que proporcionó cuando creó la pila de CloudFormation. Si no recibe el correo electrónico en unos momentos, asegúrese de haber confirmado el correo electrónico de confirmación de Amazon SNS que habría recibido después de que se creó el lote y luego cargue la grabación nuevamente para que se active el proceso de resumen.
Esta solución incluye una grabación de una reunión de equipo simulada que puede utilizar para probar la solución. El resumen es similar al ejemplo siguiente. Sin embargo, debido a la naturaleza de la IA generativa, su resultado se verá ligeramente diferente, pero el contenido debería ser similar.
Estos son los puntos clave del stand-up:
- Joe completó la verificación del estado actual de la tarea EDU1 y creó una nueva tarea para desarrollar el estado futuro. Esta nueva tarea está atrasada y debe priorizarse. Ahora inicia EDU2, pero está bloqueado en la selección de recursos.
- Rob ha creado una estrategia de etiquetado para SLG1 basada en las mejores prácticas, pero es posible que necesite coordinarse con otros equipos que hayan desarrollado sus propias estrategias para lograr un enfoque coherente. Se creó una nueva tarea para coordinar las estrategias de etiquetado.
- Rob ha progresado en la depuración de SLG2, pero es posible que necesite ayuda adicional. Esta tarea se trasladará al Sprint 2 para dar tiempo a adquirir recursos adicionales.
Próximos pasos:
- Joe continuará trabajando en EDU2 hasta que se decida la selección de recursos.
- Se priorizará una nueva tarea para coordinar estrategias de etiquetado entre equipos
- SLG2 cambió a Sprint 2
- Los standups se trasladarán a los lunes a partir de la próxima semana.
Ampliar la solución
Ahora que tiene una solución que funciona, aquí hay algunas ideas posibles para adaptar la solución a sus casos de uso específicos:
- Intente modificar el proceso para que se ajuste al contenido fuente disponible y a los resultados deseados:
- Para situaciones en las que haya transcripciones disponibles, cree un flujo de trabajo de Step Functions alternativo para acomodar las transcripciones existentes basadas en texto o PDF.
- En lugar de utilizar Amazon SNS para notificar a los destinatarios por correo electrónico, puede utilizarlo para enviar resultados a otro punto final, como un sitio de colaboración en equipo o el canal de chat del equipo.
- Intente modificar el parámetro de pila de declaraciones resumidas de CloudFormation proporcionado a Amazon Bedrock para producir resultados específicos para su caso de uso (este es el mensaje de IA generativo):
- Al resumir la publicación de resultados de una empresa, puede centrar el modelo en posibles oportunidades prometedoras, áreas problemáticas y aspectos a tener en cuenta.
- Si usa esto para resumir una conferencia del curso, el modelo puede identificar las próximas tareas, resumir conceptos clave, enumerar hechos y filtrar cualquier pequeña charla de la grabación.
- Para la misma grabación, cree diferentes resúmenes para diferentes audiencias:
- Los resúmenes de ingenieros se centran en las decisiones de diseño, los desafíos técnicos y los próximos entregables.
- Los resúmenes del director de proyectos se centran en cronogramas, costos, entregables y elementos de acción.
- Los patrocinadores del proyecto reciben una breve actualización sobre el estado y las escalaciones del proyecto.
- Para grabaciones más largas, intente crear resúmenes para diferentes intereses y compromisos de tiempo. Por ejemplo, cree una sola oración, un solo párrafo, una sola página o un resumen detallado. Además del mensaje, es posible que desee personalizar el
max_tokens_to_sample
Parámetros para tener en cuenta diferentes longitudes de contenido.
Limpiar
Para limpiar la solución, elimine la pila de CloudFormation que creó anteriormente. Tenga en cuenta que eliminar el lote no elimina el depósito de activos. Si ya no necesita las grabaciones o transcripciones, puede eliminar este depósito por separado. Amazon Transcribe elimina automáticamente los trabajos de transcripción después de 90 días, pero también puede eliminarlos manualmente de antemano.
Diploma
En esta publicación, exploramos cómo puede crear automáticamente resúmenes claros y concisos de grabaciones de video o audio utilizando Amazon Transcribe y Amazon Bedrock. Le recomendamos que siga evaluando Amazon Bedrock, Amazon Transcribe y otros servicios de IA de AWS, como Amazon Textract, Amazon Translate y Amazon Rekognition, para ver cómo pueden ayudarle a alcanzar sus objetivos comerciales.
Sobre los autores
Rob Barnes es consultor principal de AWS Professional Services. Trabaja con nuestros clientes para abordar los requisitos de seguridad y cumplimiento en entornos complejos de AWS de múltiples cuentas a través de la automatización a escala.
Jason Stehle es arquitecto senior de soluciones en AWS con sede en la región de Nueva Inglaterra. Trabaja con los clientes para adaptar las capacidades de AWS a sus mayores desafíos comerciales. Fuera del trabajo, pasa su tiempo construyendo cosas y viendo cómics con su familia.
[ad_2]