El sistema de sensor de vibración de doble obturador utiliza cámaras ordinarias para lograr resultados extraordinarios – ScienceDaily

El sistema de sensor de vibración de doble obturador utiliza cámaras ordinarias para lograr resultados extraordinarios – ScienceDaily


Un sistema de cámara desarrollado por investigadores de la Universidad Carnegie Mellon puede ver las vibraciones del sonido con suficiente precisión y detalle para reconstruir la música tocada por un solo instrumento en una banda u orquesta.

Incluso los micrófonos direccionales más potentes no pueden eliminar el ruido ambiental, el ruido ambiental y el efecto de la acústica al grabar audio. El novedoso sistema, desarrollado en el Instituto de Robótica (RI) de la Facultad de Ciencias de la Computación, utiliza dos cámaras y un láser para capturar vibraciones superficiales de baja amplitud y alta velocidad. Estas vibraciones se pueden utilizar para reconstruir el sonido y capturar audio aislado sin inferencia ni micrófono.

«Inventamos una nueva forma de ver el sonido», dijo Mark Sheinin, investigador postdoctoral en el Laboratorio de Imágenes e Iluminación de RI (ILIM). «Es un nuevo tipo de sistema de cámara, un nuevo dispositivo de imágenes que es capaz de ver algo que es invisible a simple vista».

El equipo realizó varias demostraciones exitosas de la efectividad de su sistema para detectar vibraciones y la calidad de la reconstrucción del sonido. Grabaron audio aislado de guitarras separadas tocando al mismo tiempo y de parlantes individuales tocando música diferente al mismo tiempo. Analizaron las vibraciones de un diapasón y usaron las vibraciones de una bolsa de Doritos colocada cerca de un parlante para capturar el sonido que salía de un parlante. Esta demostración rinde homenaje al trabajo anterior de investigadores del MIT que desarrollaron uno de los primeros micrófonos visuales en 2014.

El sistema CMU es una mejora espectacular con respecto a los intentos anteriores de capturar sonido utilizando la visión artificial. El trabajo del equipo utiliza cámaras ordinarias que cuestan una fracción de las versiones de alta velocidad utilizadas en investigaciones anteriores, mientras producen imágenes de mayor calidad. El sistema de cámara dual puede capturar la vibración de objetos en movimiento, como B. los movimientos de una guitarra mientras un músico la toca, mientras captura sonidos individuales desde múltiples puntos.

«Hemos hecho que el micrófono óptico sea mucho más conveniente y fácil de usar», dijo Srinivasa Narasimhan, profesor de RI y director de ILIM. «Hemos mejorado la calidad al mismo tiempo que redujimos los costos».

El sistema funciona analizando las diferencias en los patrones de motas en imágenes capturadas con obturador rodante y obturador global. Un algoritmo calcula la diferencia en los patrones de motas de los dos flujos de video y convierte estas diferencias en vibraciones para reconstruir el sonido.

Un patrón moteado se refiere a la forma en que la luz coherente se comporta en el espacio después de reflejarse en una superficie rugosa. El equipo crea el patrón de motas apuntando un láser a la superficie del objeto que genera las vibraciones, como el cuerpo de una guitarra. Este patrón de motas cambia a medida que la superficie vibra. Un obturador rodante captura una imagen al escanearla rápidamente, generalmente de arriba a abajo, y crea la imagen apilando una serie de píxeles uno encima del otro. Un obturador global captura una imagen a la vez en una sola instancia.

La investigación «Dual-Shutter Optical Vibration Sensing» recibió el premio al mejor artículo en la Conferencia IEEE/CVF sobre visión por computadora y reconocimiento de patrones (CVPR) 2022 en Nueva Orleans. Junto a Sheinin y Narasimhan estaban Dorian Chan, Ph.D. estudiante de Ciencias de la Computación, y Matthew O’Toole, Profesor Asistente en el Departamento de RI y Ciencias de la Computación.

CVPR es la principal conferencia de visión artificial. La conferencia registró un récord de 8.161 trabajos presentados, de los cuales alrededor de una cuarta parte fueron aceptados. De estos, solo 34 fueron preseleccionados para los Best Paper Awards.

«Este sistema empuja los límites de lo que es posible con la visión por computadora», dijo O’Toole. «Este es un nuevo mecanismo para detectar altas velocidades y vibraciones diminutas y representa una nueva área de investigación».

La mayor parte del trabajo en visión por computadora se enfoca en sistemas de entrenamiento para detectar objetos o rastrearlos a través del espacio, investigación importante para el avance de tecnologías como los vehículos autónomos. Que este trabajo permita a los sistemas ver mejor las vibraciones imperceptibles de alta frecuencia abre nuevas aplicaciones para la visión artificial.

El sistema de sensor de vibración óptica de doble obturador del equipo podría permitir a los ingenieros de sonido monitorear la música de los instrumentos individuales sin interferencias del resto del conjunto para afinar la mezcla general. Los fabricantes podrían usar el sistema para monitorear las vibraciones de máquinas individuales en el piso de una fábrica para identificar los primeros signos de que se necesita mantenimiento.

«Cuando tu auto comienza a hacer un ruido extraño, sabes que es hora de echarle un vistazo», dijo Sheinin. “Ahora imagine un piso de fábrica lleno de máquinas. Con nuestro sistema, puede monitorear la salud de cada máquina individual capturando sus vibraciones con una sola cámara estacionaria”.

Vídeo: https://youtu.be/_pq0d1oxtA0

Más información sobre el sistema: https://imaging.cs.cmu.edu/vibration/

fuente de la historia:

Materiales proporcionados por Universidad de Carnegie mellon. Escrito originalmente por Aaron Aupperlee. Nota: El contenido se puede editar por estilo y longitud.

Related post

Conector Java para compartir delta y cómo funciona.

Conector Java para compartir delta y cómo funciona.

Creación de un mercado de datos abiertos A medida que ingresamos a este nuevo y valiente mundo digital, estamos seguros de…
Uso de nanodiscos coloidales para bioimpresión 3D de tejidos y modelos de tejidos

Uso de nanodiscos coloidales para bioimpresión 3D de tejidos…

29 de junio de 2022 (Noticias de Nanowerk) La impresión 3D/bioimpresión basada en extrusión es un enfoque prometedor para fabricar injertos…
Meta finalmente agrega la configuración de grabación de video Quest para desarrolladores

Meta finalmente agrega la configuración de grabación de video…

Meta Quest (anteriormente Oculus Quest) finalmente tiene configuraciones de grabación de video. Bueno, al menos para los desarrolladores. Una nueva actualización…

Leave a Reply

Tu dirección de correo electrónico no será publicada.