[ad_1]
Aprender de los datos periódicos (señales que se repiten, como los latidos del corazón o los cambios diarios de temperatura en la superficie terrestre) es crucial para muchas aplicaciones del mundo real, desde el monitoreo de sistemas meteorológicos hasta la detección de signos vitales. Por ejemplo, en el campo de la teledetección ambiental, a menudo se requiere un aprendizaje regular para permitir la predicción de cambios ambientales como los patrones de precipitación o las temperaturas de la superficie terrestre. En el sector sanitario, se ha demostrado que el aprendizaje a partir de mediciones por vídeo puede extraer signos vitales (cuasi) periódicos, como la fibrilación auricular y los episodios de apnea del sueño.
Enfoques como RepNet subrayan la importancia de este tipo de tareas y presentan una solución que detecta actividad repetitiva dentro de un solo video. Sin embargo, estos son enfoques supervisados que requieren una cantidad significativa de datos para capturar actividades repetitivas, todos etiquetados para indicar la cantidad de veces que se repitió una acción. Etiquetar dichos datos suele ser un desafío y requiere muchos recursos, ya que los investigadores deben recopilar manualmente mediciones de tiempo estándar sincronizadas con la modalidad de interés (por ejemplo, video o imágenes satelitales).
Alternativamente, los métodos de aprendizaje autosupervisado (SSL) (por ejemplo, SimCLR y MoCo v2) que utilizan grandes cantidades de datos sin etiquetar para aprender representaciones que capturan dinámicas temporales periódicas o cuasi periódicas han demostrado éxito en la resolución de tareas de clasificación. Sin embargo, pasan por alto la periodicidad intrínseca (es decir, la capacidad de saber si un marco es parte de un proceso periódico) de los datos y no pueden aprender representaciones sólidas que capturen atributos periódicos o de frecuencia. Esto se debe a que el aprendizaje periódico tiene características que difieren de las tareas de aprendizaje dominantes.
![]() |
La similitud de características difiere de las características estáticas (por ejemplo, imágenes) en el contexto de representaciones periódicas. Por ejemplo, los vídeos que se desplazan o invierten mediante retrasos breves deben parecerse a la muestra original, mientras que los vídeos a los que se les ha aumentado o reducido la muestra por un factor X debe diferir por el factor de la muestra original X. |
Para abordar estos desafíos, introdujimos un marco de contraste autosupervisado para aprender información periódica en datos en «SimPer: Simple Self-Supervised Learning of Periodic Targets» publicado en la undécima Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR 2023). En particular, SimPer aprovecha las propiedades temporales de los objetivos periódicos. aprendizaje temporal autocontrastantedonde las muestras positivas y negativas se obtienen mediante aumentos invariantes de periodicidad y variantes de periodicidad La misma cosa instancia de entrada. Te sugerimos similitud de características periódicas Esto define explícitamente cómo se debe medir la similitud en el contexto del aprendizaje periódico. Además, diseñamos una pérdida generalizada de contraste. Esto amplía la pérdida clásica de InfoNCE con una variante de regresión suave que permite contrastar etiquetas continuas (frecuencia). A continuación, mostramos que SimPer es eficaz en el aprendizaje de representaciones de características del período en comparación con los métodos SSL de última generación, y destacamos sus propiedades intrigantes, incluida una mejor eficiencia de los datos, solidez a correlaciones espurias y generalización a cambios de distribución. Finalmente, estamos felices de lanzar el repositorio de código de SimPer con la comunidad de investigación.
El marco SimPer
SimPer presenta un marco de aprendizaje temporal y autocontrastante. Las muestras positivas y negativas se obtienen de la misma instancia de entrada mediante extensiones invariantes de periodicidad y variantes de periodicidad. Para muestras de video temporales, los cambios invariantes de periodicidad implican recortar, rotar o voltear, mientras que los cambios variantes de periodicidad implican acelerar o ralentizar un video.
Para definir explícitamente cómo se mide la similitud en el contexto del aprendizaje periódico, SimPer propone la similitud de características periódicas. Esta construcción nos permite formular la formación como una tarea de aprendizaje contrastante. Se puede entrenar un modelo con datos sin etiquetar y luego perfeccionarlo según sea necesario para asociar las características aprendidas con valores de frecuencia específicos.
Se proporciona una secuencia de entrada. XSabemos que hay una señal periódica asociada. Entonces nos transformamos X para crear una serie de muestras alteradas en velocidad o frecuencia que cambian el objetivo periódico subyacente, creando así diferentes vistas negativas. Aunque se desconoce la frecuencia original, estamos desarrollando efectivamente etiquetas de pseudovelocidad o frecuencia para la entrada x sin etiquetar.
Las medidas tradicionales de similitud, como la similitud del coseno, enfatizan la proximidad estricta entre dos vectores de características y son sensibles a características con índice desplazado (que representan diferentes marcas de tiempo), características invertidas y características con frecuencias alteradas. Por el contrario, la similitud periódica de características debería ser alta para muestras con pequeños cambios temporales y/o índices invertidos, mientras que se detecta un cambio continuo de similitud a medida que varía la abundancia de características. Esto se puede lograr utilizando una métrica de similitud en el dominio de la frecuencia, por ejemplo, la distancia entre dos transformadas de Fourier.
Para explotar la continuidad intrínseca de muestras extendidas en el dominio de la frecuencia, SimPer diseña una pérdida de contraste generalizada que extiende la pérdida clásica de InfoNCE a una variante de regresión suave que permite contrastar etiquetas continuas (frecuencia). Esto lo hace adecuado para tareas de regresión donde el objetivo es recuperar una señal continua, como un latido del corazón.
![]() |
SimPer construye vistas negativas de los datos mediante transformaciones en el dominio de la frecuencia. La secuencia de entrada X tiene una señal periódica asociada. Transformaciones SimPer X para crear una serie de muestras alteradas en velocidad o frecuencia que cambian el objetivo periódico subyacente, creando así diferentes vistas negativas. Aunque se desconoce la frecuencia original, estamos desarrollando efectivamente etiquetas de pseudovelocidad o frecuencia para entradas sin etiquetar. X (Aumentos de variantes de periodicidad τ). SimPer toma transformaciones que no cambian la identidad de la entrada y las define como aumentos invariantes en la periodicidad. σ, creando diferentes visiones positivas de la muestra. Luego, estas vistas ampliadas se envían al codificador. F, mediante el cual se extraen las características correspondientes. |
Resultados
Para evaluar el rendimiento de SimPer, lo comparamos con esquemas SSL de última generación (por ejemplo, SimCLR, MoCo v2, BYOL, CVRL) utilizando un conjunto de seis conjuntos de datos de aprendizaje periódico diferentes para tareas comunes del mundo real en el análisis del comportamiento humano. teledetección ambiental y atención sanitaria. A continuación presentamos en particular resultados de la medición de la frecuencia cardíaca y del recuento de repeticiones del entrenamiento mediante vídeo. Los resultados muestran que SimPer supera a los esquemas SSL de última generación en los seis conjuntos de datos, lo que subraya su rendimiento superior en términos de eficiencia de datos, solidez a correlaciones falsas y generalización a objetivos invisibles.
Aquí mostramos resultados cuantitativos para dos conjuntos de datos representativos utilizando SimPer previamente entrenado con diferentes métodos SSL y refinados en los datos etiquetados. Primero entrenamos a SimPer con la Univ. Utilice el conjunto de datos de fotopletismografía remota (UBFC) de Bourgogne Franche-Comté, un conjunto de datos de fotopletismografía humana y predicción de la frecuencia cardíaca, y compare su rendimiento con métodos SSL de última generación. Observamos que SimPer supera a los métodos SimCLR, MoCo v2, BYOL y CVRL. Los resultados del conjunto de datos de recuento de acciones humanas de Countix confirman aún más las ventajas de SimPer sobre otros métodos, ya que supera significativamente la línea de base monitoreada. Consulte el documento para conocer los resultados de la evaluación de funciones y el rendimiento en otros conjuntos de datos.
![]() |
Resultados de SimCLR, MoCo v2, BYOL, CVRL y SimPer en Univ. Bourgogne Franche-Comté Remote PhotoPlethysmoGraphy (UBFC) y conjuntos de datos Countix. El rendimiento de la frecuencia cardíaca y el recuento de repeticiones se informa como error absoluto medio (MAE). |
Conclusión y aplicaciones
Presentamos SimPer, un marco contrastivo autosupervisado para aprender información periódica en datos. Mostramos que SimPer proporciona un enfoque intuitivo y flexible para aprender representaciones sólidas de características para señales periódicas mediante la combinación de un marco de aprendizaje temporal autocontrastivo, aumentos de periodicidad invariante y variante de periodicidad, y similitud de características periódicas continuas. Además, SimPer se puede utilizar en diversos campos, desde la teledetección medioambiental hasta la atención sanitaria.
gracias
Nos gustaría agradecer a Yuzhe Yang, Xin Liu, Ming-Zher Poh, Jiang Wu, Silviu Borac y Dina Katabi por sus contribuciones a este trabajo.
[ad_2]