Logran reconstruir los sonidos de un vídeo 'mudo' a partir de las imágenes
Las plantas no pueden hablar, pero un grupo de científicos han logrado escuchar ‘Mery tenía un corderito’ a partir del vídeo de una de ellas. Eso sí, que no te engañen: el sonido no lo emitían las hojas.
El equipo, integrado por miembros del MIT, Adobe y Microsoft, ha desarrollado un algoritmo que puede reconstruir una señal sonora a partir de las vibraciones de los objetos inanimados que aparecen en una grabación, aunque en ella no se escuche nada.
En sus experimentos, filmaron, entre otras cosas, un vaso de agua, una bolsa de patatas fritas, una planta, una caja de pañuelos y un KitKat. Mientras grababan, encendieron unos altavoces que, para cada ensayo, emitían un sonido distinto. En uno era una canción, en otro el canto de un pájaro y en los dos restantes la voz de una persona. En estos últimos, el algoritmo dio sus frutos incluso cuando la cámara enfocaba a través de una ventana desde fuera de la sala.
Como explica Abe Davis, uno de los autores del estudio, “cuando el sonido golpea una superficie hace que vibre”. Un cambio tan sutil que es invisible al ojo humano, pero no a los algoritmos desarrollados por estos investigadores.
Para recoger estos débiles movimientos, utilizaron videocámaras de alta velocidad que captan entre 2.000 y 6.000 imágenes por segundo. Después, los científicos emplearon un filtro para detectar hasta el más mínimo cambio en los píxeles de una imagen y amplificar así cualquier variación en el vídeo. Su algoritmo utiliza el resultado de este proceso para registrar el movimiento de un objeto cuando es golpeado por las ondas sonoras y reconstruirlas.
Los sonidos reconstruidos a partir de las grabaciones no solo aportan información sobre lo que está sonando en el entorno del objeto, sino también sobre las propiedades del mismo. Para que lo entiendas: una bolsa de patatas no va a reproducir tu voz de la misma manera que un cactus.
------
Imagen principal: Christine Daniloff/MIT
