Los ingenieros desarrollaron NeuWS, una tecnología de vídeo que corrige la dispersión de la luz en tiempo real, permitiendo imágenes más claras a través de la niebla, el humo y la tela. (Concepto del artista)
Ingenieros de Rice y Maryland han superado el desafío de la “dispersión de la luz” con vídeo en movimiento completo.
Ingenieros de la Universidad Rice y la Universidad de Maryland han desarrollado una tecnología de vídeo de movimiento completo que podría usarse para fabricar cámaras que miren a través de la niebla, el humo, la lluvia torrencial, el agua turbia, la piel, los huesos y otros medios que reflejan la luz dispersa y los objetos oscuros. desde la vista.
«La obtención de imágenes a través de medios de dispersión es el ‘problema del Santo Grial’ en la obtención de imágenes ópticas en este momento», dijo Ashok Veeraraghavan de Rice, coautor correspondiente de un estudio de acceso abierto publicado recientemente en Science Advances. “La dispersión es lo que hace que la luz, que tiene una longitud de onda más corta y, por lo tanto, ofrece una resolución espacial mucho mejor, sea inutilizable en muchos, muchos escenarios. Si puedes deshacer los efectos de la dispersión, la imagen llegará mucho más lejos”.
El laboratorio de Veeraraghavan colaboró con el grupo de investigación del coautor correspondiente de Maryland, Christopher Metzler, para crear una tecnología que llamaron NeuWS, que es un acrónimo de «modelado de frente de onda neuronal», la técnica central de la tecnología.
En experimentos, la tecnología de cámara llamada NeuWS, inventada por colaboradores de la Universidad Rice y la Universidad de Maryland, pudo corregir la interferencia de los medios de dispersión de luz entre la cámara y el objeto fotografiado. La fila superior muestra una imagen de referencia de un sello de mariposa (izquierda), el sello fotografiado por una cámara normal a través de un trozo de piel de cebolla de aproximadamente 80 micrones de espesor (centro), y una imagen de NeuWS que corrigió la dispersión de la luz a través de la piel de cebolla ( bien). La fila central muestra imágenes de referencia (izquierda), sin corregir (centro) y corregidas (derecha) de una muestra de tejido esofágico de un perro con un difusor de luz de 0,5 grados como medio de dispersión, y la fila inferior muestra imágenes correspondientes de un objetivo de resolución positiva con un portaobjetos de vidrio cubierto con esmalte de uñas como medio de dispersión. A la izquierda se muestran primeros planos de las imágenes insertadas de cada fila para comparar. Crédito: Laboratorio Veeraraghavan/Universidad de Rice
“Si preguntas a las personas que trabajan en vehículos autónomos cuáles son los mayores desafíos a los que se enfrentan, dirán: ‘Mal tiempo. No podemos tomar buenas imágenes con mal tiempo’”, dijo Veeraraghavan. “Dicen ‘mal tiempo’, pero lo que quieren decir, en términos técnicos, es dispersión de la luz. Si se pregunta a los biólogos sobre los mayores desafíos de la microscopía, dirán: «No podemos obtener imágenes de tejidos profundos in vivo». Dicen «tejido profundo» e «in vivo», pero lo que realmente quieren decir es que la piel y otras capas de tejido que quieren ver están dispersando luz. Si preguntas a los fotógrafos submarinos cuál es su mayor desafío, dirán: «Sólo puedo imaginar cosas que están cerca de mí». Lo que realmente quieren decir es que la luz se dispersa en el agua y, por lo tanto, no llega a la profundidad suficiente para que puedan enfocarse en cosas que están lejos.
«En todas estas circunstancias, y en otras, el verdadero problema técnico es la dispersión», afirmó Veeraraghavan.
Dijo que NeuWS podría usarse potencialmente para superar la dispersión en estos y otros escenarios.
«Este es un gran paso adelante para nosotros en términos de resolver esto de una manera que sea potencialmente práctica», dijo. «Hay mucho trabajo por hacer antes de que podamos construir prototipos en cada uno de estos dominios de aplicación, pero el enfoque que demostramos podría abarcarlos».
Conceptualmente, NeuWS se basa en el principio de que las ondas de luz son cantidades matemáticas complejas con dos propiedades principales que pueden calcularse para cualquier ubicación. La primera, magnitud, es la cantidad de energía que transporta la onda en el lugar, y la segunda es la fase, que es el estado de oscilación de la onda en el lugar. Metzler y Veeraraghavan dijeron que la fase de medición es crítica para superar la dispersión, pero no es práctico medir directamente debido a la alta frecuencia de la luz óptica.
El estudiante de doctorado de la Universidad Rice, Haiyun Guo, y el Prof. Ashok Veeraraghavan en el Laboratorio de Imágenes Computacionales de Rice. Guo, Veeraraghavan y sus colaboradores de la Universidad de Maryland han creado una tecnología de cámara de vídeo de movimiento completo que corrige la dispersión de la luz y tiene el potencial de permitir que las cámaras filmen a través de la niebla, el humo, la lluvia torrencial, el agua turbia, la piel, los huesos y otras luces. -Obstrucciones penetrables. Crédito: Brandon Martin/Universidad Rice
En lugar de ello, miden la luz entrante como “frentes de onda” (mediciones únicas que contienen información de fase e intensidad) y utilizan procesamiento de fondo para descifrar rápidamente la información de fase de varios cientos de mediciones de frente de onda por segundo.
«El desafío técnico es encontrar una manera de medir rápidamente la información de fase», dijo Metzler, profesor asistente de ciencias de la computación en Maryland y ex alumno de «Triple Owl» Rice que obtuvo su doctorado, maestría y licenciatura en electricidad e informática. ingeniería en Rice en 2019, 2014 y 2013, respectivamente. Metzler estuvo en la Universidad Rice durante el desarrollo de una versión anterior de la tecnología de procesamiento de frente de onda llamada DESEAR que Veeraraghavan y sus colegas publicaron en 2020.
«WISH abordó el mismo problema, pero trabajó bajo el supuesto de que todo era estático y agradable», dijo Veeraraghavan. «En el mundo real, por supuesto, las cosas cambian todo el tiempo».
Con NeuWS, dijo, la idea no sólo es deshacer los efectos de la dispersión, sino también deshacerlos lo suficientemente rápido como para que el propio medio de dispersión no cambie durante la medición.
«En lugar de medir el estado de la oscilación en sí, se mide su correlación con frentes de onda conocidos», dijo Veeraraghavan. “Se toma un frente de onda conocido, se interfiere con el frente de onda desconocido y se mide el patrón de interferencia producido por los dos. Ésta es la correlación entre estos dos frentes de onda”.
Metzler utilizó la analogía de mirar la Estrella Polar de noche a través de una neblina de nubes. «Si sé cómo se supone que debe verse la Estrella Polar y puedo decir que está borrosa de una manera específica, eso me dirá cómo se verá borrosa todo lo demás».
Veerarghavan dijo: «No es una comparación, es una correlación, y si se miden al menos tres de estas correlaciones, se puede recuperar de forma única el frente de onda desconocido».
El estudiante de doctorado de la Universidad Rice, Haiyun Guo, miembro del Laboratorio de Imágenes Computacionales de Rice, demuestra una tecnología de cámara de video de movimiento completo que corrige la dispersión de la luz, lo que tiene el potencial de permitir que las cámaras filmen a través de niebla, humo, lluvias torrenciales y zonas turbias. agua, piel, huesos y otros medios que oscurecen. Guo, profesor de arroz. Ashok Veeraraghavan y sus colaboradores de la Universidad de Maryland describieron la tecnología en un estudio de acceso abierto publicado en Science Advances. Crédito: Brandon Martin/Universidad Rice
Los moduladores de luz espacial de última generación pueden realizar varios cientos de mediciones por minuto, y Veeraraghavan, Metzler y sus colegas demostraron que podían usar un modulador y su método computacional para capturar videos de objetos en movimiento que estaban oscurecidos por medios de dispersión intermedios.
«Este es el primer paso, la prueba de principio de que esta tecnología puede corregir la dispersión de la luz en tiempo real», dijo Haiyun Guo de Rice, uno de los autores principales del estudio y estudiante de doctorado en el grupo de investigación de Veeraraghavan.
En una serie de experimentos, por ejemplo, un portaobjetos de microscopio que contenía una imagen impresa de un búho o una tortuga se hizo girar sobre un huso y se filmó con una cámara superior. Se colocaron medios de dispersión de luz entre la cámara y la diapositiva objetivo, y los investigadores midieron la capacidad de NeuWS para corregir la dispersión de la luz. Ejemplos de medios de dispersión incluyen pieles de cebolla, portaobjetos recubiertos de esmalte, rodajas de tejido de pechuga de pollo y películas difusoras de luz. Para cada uno de ellos, los experimentos demostraron que NeuWS podía corregir la dispersión de la luz y producir vídeos nítidos de las figuras en rotación.
«Hemos desarrollado algoritmos que nos permiten estimar continuamente tanto la dispersión como la escena», dijo Metzler. «Eso es lo que nos permite hacer esto, y lo hacemos con una maquinaria matemática llamada representación neuronal, que permite que sea eficiente y rápido».
NeuWS modula rápidamente la luz de los frentes de onda entrantes para crear varias mediciones de fase ligeramente desplazadas. Luego, las fases alteradas se introducen directamente en una red neuronal de 16.000 parámetros que calcula rápidamente las correlaciones necesarias para recuperar la información de fase original del frente de onda.
«Las redes neuronales permiten que sea más rápido, lo que nos permite diseñar algoritmos que requieren menos mediciones», dijo Veeraraghavan.
Metzler dijo: “Ese es realmente el mayor atractivo de venta. Básicamente, menos mediciones significan que necesitamos mucho menos tiempo de captura. Es lo que nos permite capturar vídeo en lugar de fotogramas fijos”.
Referencia: “NeuWS: Neural Wavefront Modeling for Guidestarless Imaging via Static and Dynamic Dispersion Media” por Brandon Y. Feng, Haiyun Guo, Mingyang Xie, Vivek Boominathan, Manoj K. Sharma, Ashok Veeraraghavan y Christopher A. Metzler, 28 de junio de 2023 , Avances científicos.
DOI: 10.1126/sciadv.adg4671
La investigación fue apoyada por la Oficina de Investigación Científica de la Fuerza Aérea (FA9550-22-1-0208), la Fundación Nacional de Ciencias (1652633, 1730574, 1648451) y los Institutos Nacionales de Salud (DE032051), y se obtuvo financiación parcial de acceso abierto. proporcionado por el Fondo de Publicaciones de Acceso Abierto de Bibliotecas de la Universidad de Maryland.
