Une méthode pourrait éclairer les caractéristiques des tissus biologiques dans des images à faible exposition
De petites imperfections dans un verre à vin ou de minuscules plis dans une lentille de contact peuvent être difficiles à déceler, même avec une bonne lumière. Dans l’obscurité presque totale, il est presque impossible de déchiffrer des images de ces éléments ou objets transparents. Mais aujourd’hui, les ingénieurs du MIT ont développé une technique qui permet de révéler ces objets “invisibles”, dans l’obscurité.
Dans une étude publiée aujourd’hui dans Physical Review Letters, les chercheurs ont reconstitué des objets transparents à partir d’images de ces objets, prises dans des conditions de noirceur presque totale. Ils l’ont fait à l’aide d’un ” réseau neuronal profond “, une technique d’apprentissage machine qui consiste à former un ordinateur pour associer certaines entrées à des sorties spécifiques – dans ce cas, des images sombres et granuleuses d’objets transparents et des objets eux-mêmes.
L’équipe a formé un ordinateur pour reconnaître plus de 10 000 gravures transparentes ressemblant à du verre, à partir d’images extrêmement granuleuses de ces motifs. Les images ont été prises dans des conditions de très faible luminosité, avec environ un photon par pixel – beaucoup moins de lumière qu’une caméra ne le ferait dans une pièce sombre et étanche. Ils ont ensuite montré à l’ordinateur une nouvelle image granuleuse, non incluse dans les données de formation, et ont constaté qu’il avait appris à reconstruire l’objet transparent que l’obscurité avait obscurci.
Les résultats démontrent que les réseaux neuronaux profonds peuvent être utilisés pour éclairer des éléments transparents tels que les tissus et cellules biologiques, sur des images prises avec très peu de lumière.
“En laboratoire, si vous détruisez des cellules biologiques avec de la lumière, vous les brûlez, et il ne reste plus rien à l’image “, dit George Barbastathis, professeur de génie mécanique au MIT. “Lorsqu’il s’agit d’imagerie par rayons X, si vous exposez un patient aux rayons X, vous augmentez le risque qu’il attrape un cancer. Ce que nous faisons ici, c’est que vous pouvez obtenir la même qualité d’image, mais avec une exposition moindre pour le patient. Et en biologie, on peut réduire les dommages aux échantillons biologiques quand on veut les prélever.”
Apprentissage profond et obscur
Les réseaux neuronaux sont des schémas de calcul qui sont conçus pour imiter approximativement la façon dont les neurones du cerveau travaillent ensemble pour traiter des entrées de données complexes. Un réseau neuronal fonctionne en effectuant des “couches” successives de manipulations mathématiques. Chaque couche de calcul calcule la probabilité pour une sortie donnée, sur la base d’une entrée initiale. Par exemple, étant donné l’image d’un chien, un réseau neuronal peut identifier des caractéristiques qui rappellent d’abord un animal, puis plus spécifiquement un chien, et finalement, un beagle. Un réseau neuronal “profond” englobe de nombreuses couches de calcul beaucoup plus détaillées entre l’entrée et la sortie.
Un chercheur peut “entraîner” un tel réseau à effectuer des calculs plus rapidement et avec plus de précision, en lui fournissant des centaines ou des milliers d’images, non seulement de chiens, mais aussi d’autres animaux, objets et personnes, avec l’étiquette correcte pour chaque image. S’il dispose de suffisamment de données pour en tirer des leçons, le réseau neuronal devrait être en mesure de classer correctement des images complètement nouvelles.
Les réseaux neuronaux profonds ont été largement appliqués dans le domaine de la vision par ordinateur et de la reconnaissance d’images, et récemment, Barbastathis et d’autres ont développé des réseaux neuronaux pour reconstruire des objets transparents dans des images prises avec beaucoup de lumière. Aujourd’hui, son équipe est la première à utiliser des réseaux neuronaux profonds dans des expériences pour révéler des objets invisibles dans des images prises dans l’obscurité.
“Les objets invisibles peuvent être révélés de différentes manières, mais il faut généralement utiliser beaucoup de lumière “, dit Barbastathis. “Ce que nous faisons maintenant, c’est visualiser les objets invisibles, dans l’obscurité. C’est donc comme deux difficultés combinées. Et pourtant, nous pouvons encore faire la même quantité de révélation.”
La loi de la lumière
L’équipe a consulté une base de données de 10 000 circuits intégrés dont chacun est gravé d’un motif complexe de barres horizontales et verticales différentes.
“Quand nous regardons à l’œil nu, nous ne voyons pas grand-chose – chacun d’eux ressemble à un morceau de verre transparent “, dit Goy. “Mais il y a en fait des structures très fines et peu profondes qui ont encore un effet sur la lumière.”
Au lieu de graver chacun des 10 000 motifs sur autant de lames de verre, les chercheurs ont utilisé un “modulateur spatial de lumière en phase”, un instrument qui affiche le motif sur une seule lame de verre d’une manière qui recrée le même effet optique qu’une lame gravée réelle aurait eu.
Les chercheurs ont mis en place une expérience dans laquelle ils ont pointé une caméra vers un petit cadre en aluminium contenant le modulateur de lumière. Ils ont ensuite utilisé l’appareil pour reproduire chacun des 10 000 modèles de CI de la base de données. Les chercheurs ont couvert toute l’expérience afin de la protéger de la lumière, puis ils ont utilisé le modulateur de lumière pour faire tourner rapidement chaque motif, de la même façon qu’un carrousel de diapositives. Ils ont pris des images de chaque motif transparent, dans l’obscurité presque totale, produisant des images “sel et poivre” qui ne ressemblaient guère plus que des images statiques sur un écran de télévision.
L’équipe a développé un réseau neuronal profond pour identifier des motifs transparents à partir d’images sombres, puis a alimenté le réseau avec chacune des 10 000 photographies granuleuses prises par la caméra, ainsi que les motifs correspondants, ou ce que les chercheurs ont appelé des ” vérités de terrain “.
“Vous dites à l’ordinateur : “Si je mets ça dedans, vous le sortez”, dit Goy. “Vous faites ça 10 000 fois, et après la formation, vous espérez que si vous lui donnez une nouvelle entrée, il pourra vous dire ce qu’il voit.”
“C’est pire qu’un bébé”, dit Barbastathis en riant. “D’habitude, les bébés apprennent un peu plus vite.”
Les chercheurs règlent leur appareil photo pour prendre des images légèrement floues. Aussi contre-intuitif que cela puisse paraître, cela permet en fait de mettre au point un objet transparent. Ou, plus précisément, la défocalisation fournit des preuves, sous forme d’ondulations dans la lumière détectée, qu’un objet transparent peut être présent. De telles ondulations sont un signal visuel qu’un réseau neuronal peut détecter comme un premier signe qu’un objet est quelque part dans la granularité d’une image.
Mais la défocalisation crée aussi du flou, ce qui peut brouiller les calculs d’un réseau neuronal. Pour y faire face, les chercheurs ont incorporé dans le réseau neuronal une loi en physique qui décrit le comportement de la lumière, et comment elle crée un effet de flou quand une caméra est défocalisée.
“Ce que nous savons, c’est la loi physique de la propagation de la lumière entre l’échantillon et la caméra “, dit Barbastathis. “Il vaut mieux inclure cette connaissance dans le modèle, pour que le réseau neuronal ne perde pas de temps à apprendre quelque chose qu’on sait déjà.”
Une image plus nette
Après avoir entraîné le réseau neuronal sur 10 000 images de différents modèles de circuits intégrés, l’équipe a créé un modèle complètement nouveau, non inclus dans l’ensemble d’entraînement original. Lorsqu’ils ont pris une image du motif, toujours dans l’obscurité, et qu’ils ont introduit cette image dans le réseau neuronal, ils ont comparé les motifs que le réseau neuronal a reconstruits, avec et sans la loi physique intégrée dans le réseau.
Ils ont constaté que les deux méthodes reconstruisaient assez bien le motif transparent original, mais que la “reconstruction éclairée par la physique” produisait une image plus nette et plus précise. De plus, ce motif reconstitué, à partir d’une image prise dans l’obscurité presque totale, était plus défini qu’une reconstitution du même motif, fondée sur des données physiques, dans une lumière plus de 1 000 fois plus claire.
L’équipe a répété ses expériences avec un tout nouvel ensemble de données, composé de plus de 10 000 images d’objets plus généraux et variés, dont des personnes, des lieux et des animaux. Après la formation, les chercheurs ont donné au réseau neuronal une toute nouvelle image, prise dans l’obscurité, d’une gravure transparente d’une scène avec des gondoles amarrées à un quai. Encore une fois, ils ont constaté que la reconstruction éclairée par la physique produisait une image plus précise de l’original, comparativement aux reproductions sans la loi physique intégrée.
“Nous avons montré que l’apprentissage profond peut révéler des objets invisibles dans l’obscurité “, dit Goy. “Ce résultat est d’une importance pratique pour l’imagerie médicale afin de réduire l’exposition du patient aux rayonnements nocifs, et pour l’imagerie astronomique.”
Cette recherche a été soutenue, en partie, par l’Intelligence Advanced Research Projects Activity et la National Research Foundation de Singapour.
Source : MIT
