Deep learning as a tool to decode optical transmission through complex scattering media

Abstract

Imaging and light control through complex scattering media remain fundamental challenges in modern optics, with significant implications for biomedical imaging, optical communications, and sensing technologies. When light propagates through disordered environments such as biological tissues or multimode optical fibers, multiple scattering events scramble the phase and amplitude of the optical field, giving rise to seemingly random speckle patterns. Although these patterns appear stochastic, they retain deterministic information about both the incident wavefront and the properties of the medium. Extracting this information, however, constitutes a highly complex inverse problem that is often ill-posed and difficult to solve using conventional techniques. In recent years, deep learning has emerged as a powerful tool for addressing such inverse problems, offering the ability to learn complex, nonlinear mappings directly from data without requiring explicit physical models. This thesis explores the application of deep neural networks, particularly convolutional neural networks, for imaging and light reconstruction in complex optical environments. The primary objective is to investigate how information encoded in scattered light can be exploited to infer otherwise inaccessible transmission properties, and how data-driven approaches can be combined with traditional optical methods to enhance imaging performance. The theoretical part of the thesis is organized to support these experimental and numerical studies. Chapter 2 establishes the wave-optical basis of the work, including scalar and vector propagation, diffraction, coherence, Fourier optics, random-media propagation, speckle formation, digital holography, optical phase conjugation, and numerical propagation methods. Chapter 3 then specializes this framework to guided-wave systems, emphasizing modal confinement, modal interference, multimode-fiber transfer operators, fiber-endoscopic architectures, wavefront shaping, transmission-matrix calibration, wavelength-diversity reconstruction, and non-Hermitian gain-loss waveguides with -symmetry. Chapter 4 introduces deep neural networks as statistical estimators for computational imaging, with attention to loss functions, U-Net-type architectures, physics-informed reconstruction, and the generalisation limits that arise when the optical transfer operator changes. The core contributions of this thesis are threefold. First, a data-driven framework is developed to predict transmission speckle patterns from reflection measurements in scattering media. Through experimental data acquisition and numerical modelling, the framework is evaluated across a range of scattering-medium thicknesses, demonstrating that neural networks can learn the statistical relationship between reflected and transmitted light over varying propagation regimes, including regimes where conventional approaches based on the optical memory effect become ineffective. These results establish the feasibility of non-invasive imaging approaches that infer transmitted optical information solely from reflection measurements.Second, a hybrid imaging methodology is proposed that combines wavelength-scanning ptychography with deep-learning-based fiber characterization and distortion compensation for multimode-fiber endoscopy. Wavelength scanning provides the measurement diversity required for ptychographic phase retrieval while eliminating the need for mechanical scanning at the distal end of the endoscopic system. Deep learning is incorporated to model and compensate for the complex optical transformations induced by multimode-fiber propagation, enabling recovery of the distorted optical information required for subsequent ptychographic reconstruction. By combining the physical constraints of wavelength-scanned ptychography with data-driven modeling of fiber-induced distortions, the approach provides a robust framework for high-fidelity endoscopic imaging through multimode fibers under noise and system imperfections. Third, the thesis extends deep learning to non-Hermitian photonic systems based on parity-time (PT)-symmetric waveguide structures operating near exceptional points, where small refractive-index perturbations produce strongly enhanced optical responses. Neural networks are trained to infer both the magnitude and spatial position of refractive-index perturbations from one-dimensional output intensity measurements, demonstrating robust reconstruction even in the presence of noise. Importantly, this capability extends the application beyond perturbation sensing toward optical imaging, enabling the reconstruction of two-dimensional binary perturbation maps from one-dimensional intensity measurements. The enhanced response of the PT-symmetric system near the exceptional point provides a clear advantage over its Hermitian counterpart, highlighting the potential of non-Hermitian photonic architectures for deep-learning-assisted optical sensing and imaging. Overall, this thesis demonstrates that deep learning provides a versatile and powerful framework for addressing complex imaging problems in optics. By enabling the extraction of meaningful information from highly scattered light and by enhancing traditional reconstruction techniques, the proposed approaches open new pathways for non-invasive imaging, fiber-based endoscopy, and optical sensing in challenging environments. Future work may focus on improving model generalisation, reducing data requirements, and extending these methods to dynamic and real-time imaging scenarios.

Η απεικόνιση και ο έλεγχος του φωτός κατά τη διάδοσή του μέσα από πολύπλοκα σκεδάζοντα μέσα εξακολουθούν να αποτελούν σημαντικές προκλήσεις στη σύγχρονη οπτική, με σημαντικές εφαρμογές στη βιοϊατρική απεικόνιση, τις οπτικές επικοινωνίες και τις τεχνολογίες οπτικής ανίχνευσης. Όταν το φως διαδίδεται σε ανομοιογενή και τυχαία μέσα, όπως οι βιολογικοί ιστοί ή οι πολυτροπικές οπτικές ίνες, υφίσταται πολλαπλές αλληλεπιδράσεις με το μέσο, με αποτέλεσμα να μεταβάλλονται με πολύπλοκο τρόπο τόσο η φάση όσο και το πλάτος του οπτικού πεδίου. Ως συνέπεια, στην έξοδο του μέσου σχηματίζονται φαινομενικά τυχαία πρότυπα συμβολής, γνωστά ως πρότυπα speckle. Παρά την τυχαία εμφάνισή τους, τα πρότυπα αυτά περιέχουν καθορισμένη πληροφορία τόσο για το προσπίπτον οπτικό πεδίο όσο και για τις ιδιότητες του μέσου μέσα από το οποίο αυτό διαδόθηκε. Η εξαγωγή και αξιοποίηση αυτής της πληροφορίας αποτελεί, ωστόσο, ένα ιδιαίτερα σύνθετο αντίστροφο πρόβλημα, το οποίο είναι συχνά κακώς ορισμένο και δύσκολο να αντιμετωπιστεί με συμβατικές μεθόδους. Τα τελευταία χρόνια, η βαθιά μάθηση έχει αναδειχθεί σε ένα ιδιαίτερα ισχυρό εργαλείο για την αντιμετώπιση τέτοιων αντίστροφων προβλημάτων, καθώς επιτρέπει την εκμάθηση σύνθετων και μη γραμμικών σχέσεων απευθείας από πειραματικά ή αριθμητικά δεδομένα, χωρίς να απαιτείται η πλήρης και ρητή περιγραφή του φυσικού μοντέλου του συστήματος. Η παρούσα διδακτορική διατριβή διερευνά την αξιοποίηση βαθιών νευρωνικών δικτύων, και ειδικότερα συνελικτικών νευρωνικών δικτύων, για την απεικόνιση και την ανακατασκευή οπτικών πεδίων σε σύνθετα οπτικά περιβάλλοντα. Κεντρικός στόχος της εργασίας είναι να διερευνηθεί κατά πόσο η πληροφορία που μεταφέρει το σκεδαζόμενο φως μπορεί να αξιοποιηθεί για την εξαγωγή ιδιοτήτων μετάδοσης οι οποίες δεν είναι άμεσα προσβάσιμες μέσω συμβατικών μετρήσεων, καθώς και ο τρόπος με τον οποίο οι μέθοδοι που βασίζονται στη μάθηση από δεδομένα μπορούν να συνδυαστούν με καθιερωμένες οπτικές τεχνικές, με στόχο τη βελτίωση της ποιότητας και της αξιοπιστίας της απεικόνισης.Το θεωρητικό μέρος της διατριβής διαμορφώνει το απαραίτητο υπόβαθρο για την υποστήριξη των πειραματικών και αριθμητικών μελετών που ακολουθούν. Στο Κεφάλαιο 2 παρουσιάζονται οι βασικές αρχές της κυματικής οπτικής στις οποίες στηρίζεται η εργασία, συμπεριλαμβανομένης της κλιμακωτής και διανυσματικής περιγραφής της διάδοσης του φωτός, της περίθλασης, της οπτικής συνοχής, της οπτικής Fourier, της διάδοσης σε τυχαία μέσα, του σχηματισμού προτύπων speckle, της ψηφιακής ολογραφίας, της οπτικής συζυγίας φάσης και των αριθμητικών μεθόδων προσομοίωσης της διάδοσης. Στο Κεφάλαιο 3 το θεωρητικό πλαίσιο επικεντρώνεται σε συστήματα καθοδηγούμενης διάδοσης, με ιδιαίτερη έμφαση στους τρόπους διάδοσης και τον χωρικό περιορισμό του οπτικού πεδίου, στην αλληλεπίδραση και συμβολή μεταξύ διαφορετικών τρόπων διάδοσης, στους τελεστές μετάδοσης των πολυτροπικών οπτικών ινών, στις αρχιτεκτονικές ενδοσκόπησης που βασίζονται σε πολυτροπικές ίνες, στη διαμόρφωση του κυματομετώπου, στη βαθμονόμηση του πίνακα μετάδοσης και στην ανακατασκευή με αξιοποίηση της διαφοροποίησης του μήκους κύματος. Παράλληλα, εξετάζονται μη Ερμιτιανά συστήματα κυματοδηγών με κατανομή κέρδους και απωλειών και συμμετρία .Το Κεφάλαιο 4 εισάγει τη βαθιά μάθηση ως εργαλείο στατιστικής εκτίμησης και ανακατασκευής σε προβλήματα υπολογιστικής απεικόνισης. Παρουσιάζονται βασικές έννοιες που αφορούν την εκπαίδευση των νευρωνικών δικτύων και τις συναρτήσεις απώλειας, καθώς και αρχιτεκτονικές τύπου U-Net. Επιπλέον, εξετάζεται η ενσωμάτωση φυσικών περιορισμών στη διαδικασία ανακατασκευής και αναλύονται οι περιορισμοί ως προς τη δυνατότητα γενίκευσης των νευρωνικών δικτύων, ιδιαίτερα σε περιπτώσεις όπου μεταβάλλονται οι οπτικές ιδιότητες ή ο τελεστής μετάδοσης του συστήματος.Οι βασικές συνεισφορές της παρούσας διατριβής μπορούν να συνοψιστούν σε τρεις κύριες κατευθύνσεις. Πρώτον, αναπτύσσεται μια προσέγγιση που βασίζεται στη μάθηση από δεδομένα για την πρόβλεψη των προτύπων speckle στη μετάδοση, χρησιμοποιώντας αποκλειστικά μετρήσεις του φωτός που ανακλάται από ένα σκεδάζον μέσο. Μέσω συνδυασμού πειραματικών μετρήσεων και αριθμητικής μοντελοποίησης, η προτεινόμενη προσέγγιση αξιολογείται για διαφορετικά πάχη του σκεδάζοντος μέσου. Τα αποτελέσματα δείχνουν ότι τα νευρωνικά δίκτυα μπορούν να μάθουν τη σύνθετη σχέση μεταξύ του ανακλώμενου και του μεταδιδόμενου φωτός σε ένα ευρύ φάσμα συνθηκών διάδοσης. Η δυνατότητα αυτή διατηρείται ακόμη και σε καθεστώτα στα οποία οι συμβατικές προσεγγίσεις που βασίζονται στο οπτικό φαινόμενο μνήμης (optical memory effect) παύουν να είναι αποτελεσματικές. Τα αποτελέσματα αυτά καταδεικνύουν ότι η πληροφορία που περιέχεται στο φως που επιστρέφει από ένα σκεδάζον μέσο μπορεί να χρησιμοποιηθεί για την έμμεση πρόβλεψη της οπτικής πληροφορίας που μεταδίδεται μέσα από αυτό. Ως εκ τούτου, η προσέγγιση αυτή αναδεικνύει τη δυνατότητα ανάπτυξης μη επεμβατικών τεχνικών απεικόνισης, στις οποίες η πληροφορία σχετικά με την πλευρά μετάδοσης του μέσου μπορεί να εξαχθεί χωρίς άμεση πρόσβαση σε αυτήν και μόνο μέσω μετρήσεων ανάκλασης. Δεύτερον, προτείνεται μια υβριδική μεθοδολογία απεικόνισης που συνδυάζει την πτυχογραφία με σάρωση μήκους κύματος (wavelength-scanning ptychography) με τον χαρακτηρισμό πολυτροπικών οπτικών ινών μέσω βαθιάς μάθησης και τη διόρθωση των οπτικών παραμορφώσεων που προκαλούνται κατά τη διάδοση μέσω αυτών. Η σάρωση του μήκους κύματος παρέχει την απαιτούμενη διαφοροποίηση στις μετρήσεις για την ανάκτηση της φάσης μέσω της πτυχογραφικής ανακατασκευής, ενώ ταυτόχρονα καταργεί την ανάγκη για μηχανική μετακίνηση ή σάρωση στο άπω άκρο του ενδοσκοπικού συστήματος. Η βαθιά μάθηση χρησιμοποιείται για την αποτύπωση και την αντιστάθμιση των σύνθετων οπτικών μετασχηματισμών που εισάγονται από τη διάδοση του φωτός μέσω της πολυτροπικής οπτικής ίνας. Με τον τρόπο αυτό καθίσταται δυνατή η ανάκτηση της οπτικής πληροφορίας, αφού προηγουμένως διορθωθούν οι παραμορφώσεις που προκαλεί η ίνα, ώστε αυτή να μπορεί να χρησιμοποιηθεί στη συνέχεια από τον αλγόριθμο πτυχογραφικής ανακατασκευής. Ο συνδυασμός των φυσικών περιορισμών που επιβάλλονται από την πτυχογραφία με σάρωση μήκους κύματος με ένα μοντέλο που μαθαίνει από τα δεδομένα τον μετασχηματισμό της πολυτροπικής ίνας οδηγεί σε ένα εύρωστο πλαίσιο για απεικόνιση υψηλής ποιότητας μέσω πολυτροπικών οπτικών ινών, ακόμη και υπό την παρουσία θορύβου και μη ιδανικών χαρακτηριστικών του πειραματικού συστήματος. Τρίτον, η εφαρμογή της βαθιάς μάθησης επεκτείνεται σε μη Ερμιτιανά φωτονικά συστήματα που βασίζονται σε κυματοδηγούς με συμμετρία ως προς την αντιστροφή χώρου–χρόνου (parity-time symmetry, -symmetry) και λειτουργούν κοντά σε σημεία εξαιρετικότητας (exceptional points). Σε τέτοιες συνθήκες, ακόμη και μικρές μεταβολές του δείκτη διάθλασης μπορούν να προκαλέσουν σημαντικές μεταβολές στην οπτική απόκριση του συστήματος. Νευρωνικά δίκτυα εκπαιδεύονται ώστε να εκτιμούν τόσο το μέγεθος όσο και τη χωρική θέση διαταραχών του δείκτη διάθλασης, χρησιμοποιώντας μονοδιάστατες μετρήσεις της έντασης του οπτικού πεδίου στην έξοδο του συστήματος. Η προσέγγιση παρουσιάζει αξιόπιστη ανακατασκευή ακόμη και όταν οι μετρήσεις επηρεάζονται από θόρυβο. Επιπλέον, η δυνατότητα αυτή δεν περιορίζεται στην ανίχνευση ή την ποσοτικοποίηση μεμονωμένων διαταραχών, αλλά επεκτείνεται στην οπτική απεικόνιση, επιτρέποντας την ανακατασκευή δισδιάστατων δυαδικών κατανομών διαταραχών από μονοδιάστατες μετρήσεις έντασης. Η ενισχυμένη οπτική απόκριση που εμφανίζει το -συμμετρικό σύστημα όταν λειτουργεί κοντά σε σημείο εξαιρετικότητας παρέχει σημαντικό πλεονέκτημα σε σχέση με την αντίστοιχη Ερμιτιανή διάταξη. Το αποτέλεσμα αυτό αναδεικνύει τις δυνατότητες των μη Ερμιτιανών φωτονικών συστημάτων ως πλατφορμών για οπτική ανίχνευση και απεικόνιση με τη βοήθεια μεθόδων βαθιάς μάθησης. Συνολικά, η παρούσα διατριβή καταδεικνύει ότι η βαθιά μάθηση μπορεί να αποτελέσει ένα ευέλικτο και ισχυρό εργαλείο για την αντιμετώπιση σύνθετων προβλημάτων απεικόνισης και ανάκτησης οπτικής πληροφορίας. Η δυνατότητα εξαγωγής χρήσιμης πληροφορίας από έντονα σκεδαζόμενο φως, σε συνδυασμό με την αξιοποίηση των νευρωνικών δικτύων για τη βελτίωση και την υποστήριξη καθιερωμένων μεθόδων οπτικής ανακατασκευής, δημιουργεί νέες προοπτικές για μη επεμβατική απεικόνιση, ενδοσκόπηση μέσω πολυτροπικών οπτικών ινών και οπτική ανίχνευση σε ιδιαίτερα απαιτητικά περιβάλλοντα. Μελλοντική έρευνα μπορεί να επικεντρωθεί στη βελτίωση της δυνατότητας γενίκευσης των μοντέλων σε διαφορετικές πειραματικές συνθήκες και οπτικά συστήματα, στη μείωση της απαιτούμενης ποσότητας δεδομένων για την εκπαίδευση των νευρωνικών δικτύων, καθώς και στην επέκταση των προτεινόμενων μεθόδων σε δυναμικά συστήματα και εφαρμογές απεικόνισης σε πραγματικό χρόνο.