Hyperspectral imaging and analysis for the diagnosis of pigmented skin lesions during gross pathology

Abstract

The dissertation entitled “Hyperspectral Imaging and Analysis for the Diagnosis of Pigmented Skin Lesions during Gross Pathology” consists of 8 chapters.Chapter 1 “Introduction” presents the background, rationale, and goal of the present work. The process and obstacles of gross pathology, the characteristics of skin tissue and the potential of Hyperspectral Imaging (HSI) in diagnosis are presented. The problem statement, research questions, significance and originality are described. This work aims to investigate the particularities of the diagnosis of Pigmented Skin Lesions (PSL) during gross pathology and to propose a framework for tumor margin detection. The goal is to determine the appropriateness of HSI data, tissue condition, preprocessing schemes, and segmentation models for the task of tumor segmentation.Chapter 2 “Literature Review” investigates in detail previous applications of HSI on skin tissue analysis under the Preferred Reporting Items for Systematic Reviews and Meta-Analysis (PRISMA) guidelines. Trends in the design of acquisition systems, preprocessing and decision-making are identified. The current research gaps are presented. Chapter 3 “Materials” introduces the data acquisition systems, a Multispectral Imaging (MSI) and a HSI system, and two respective original datasets of PSL, including the data collection and labeling protocols. The information captured by each acquisition system and examples of data samples are explained. A custom HSI acquisition system with high spectral resolution and a wide field of view was designed and calibrated. Evaluation metrics related to further experimentation are presented.Chapter 4 “Effectiveness of Hyperspectral Imaging for Tumor Classification” investigates the effectiveness of HSI data against RGB data. HSI signatures were reconstructed from both MSI and RGB data. The classification of signatures as tumor or not was validated and evaluated using machine learning. A framework for visualization of the results was proposed. Reflectance and texture features from HSI were superior to RGB for classification as either tumor or non-neoplastic growth. Chapter 5 “Influence of Formalin-Fixing on Chromophore Concentrations” investigates the two available types of tissue during gross pathology, namely untreated and formalin-fixed tissue. When anti-infective protocols are in place, i.e., during a pandemic, only formalin-fixed samples are accessible. The optical properties of tissue depend on the concentrations of skin chromophores. Maps of relative concentrations of melanin and hemoglobin were generated from HSI image pairs of tissue, before and after formalin-fixing. Melanin content is mostly retained after formalin-fixing, but hemoglobin content is altered. While formalin-fixed tissue might be sufficient for the analysis of melanocytic lesions, untreated tissue should be used for HSI analysis of PSL. Chapter 6 “Effect of Dimension Reduction on Tumor Margin Detection” investigates the influence of dimension reduction on tumor segmentation. HSI spectral signatures are hundred-point long vectors, which introduce redundancies and affect complexity. No guidelines are available for dimension reduction of HSI from gross skin tissue. Eleven dimension reduction methods were used to compress spectral signatures and train a classifier. A new method based on clustering and spectral similarity was proposed. The method, training scope and number of retained dimensions affected segmentation performance. Standard methods like Principal Component Analysis do not necessarily perform well. The appropriateness of dimension reduction should be confirmed with the target data before further experimentation.Chapter 7 “Implementation and Feasibility of HSI-based Tumor Margin Detection” investigates the feasibility of non-invasive tumor segmentation for PSL during gross pathology. Segmentation is a new field for HSI analysis in medicine. Two frameworks were proposed, one for pixel-wise analysis and one for patch-based analysis. Both machine learning and deep learning models were investigated as core components of the frameworks. These models were based on abundance maps, clustering, Support Vector Machines and three-dimensional convolutional networks. The pixel-wise framework showed the best performance in terms of Jaccard coefficient but suffered from false positives on tissue edges and cannot be easily scaled for a larger dataset. A custom model based on Xception architecture and 3D convolution performed similarly to state-of-the-art classification models. It managed to detect curvy tumor segments, while it has potential for improvement by adjusting the structure depth and kernel for spectral convolution. The patch-based framework managed to segment dense tumor masks, indicating that including both spatial and spectral information is beneficial. Chapter 8 “Conclusions” culminates this work by summarizing the findings of the study, highlighting the limitations, and providing directions for future research. A custom HSI system and a framework for tumor margin detection of PSL during gross pathology were proposed and achieved promising results. Insights about the system and model-building provide valuable knowledge about the handling of HSI data for computer-assisted diagnosis in gross pathology of PSL. The frameworks proposed in this work can be optimized to digitize and automate gross pathology, or even be extended for the early diagnosis of in-situ skin cancers. The focus of system evaluation should shift towards the explainability and robustness of the decision-making process, to use HSI for tumor margin detection in clinical practice.

Η διατριβή με τίτλο «Υπερφασματική Απεικόνιση και Ανάλυση για τη Διάγνωση Μελαγχρωματικών Βλαβών του Δέρματος κατά τη Μακροσκοπική Παθολογία» αποτελείται από 8 κεφάλαια.Το Κεφάλαιο 1 «Εισαγωγή» παρουσιάζει το υπόβαθρο, το σκεπτικό και τον στόχο της παρούσας εργασίας. Παρουσιάζονται η διαδικασία και τα εμπόδια της μακροσκοπικής παθολογικής ανατομικής, τα χαρακτηριστικά του δερματικού ιστού και οι δυνατότητες της Υπερφασματικής Απεικόνισης (HSI) στη διάγνωση. Περιγράφονται η διατύπωση του προβλήματος, τα ερευνητικά ερωτήματα, η σημασία και η πρωτοτυπία της μελέτης. Η εργασία αυτή στοχεύει στη διερεύνηση των ιδιαιτεροτήτων της διάγνωσης των Μελαγχρωματικών Βλαβών του Δέρματος (PSL) κατά τη μακροσκοπική εξέταση και στην πρόταση ενός πλαισίου για την ανίχνευση των ορίων του όγκου. Στόχος είναι να προσδιοριστεί η καταλληλότητα των δεδομένων HSI, της κατάστασης του ιστού, των σχημάτων προεπεξεργασίας και των μοντέλων κατάτμησης (segmentation) για το έργο της κατάτμησης του όγκου. Το Κεφάλαιο 2 «Βιβλιογραφική Ανασκόπηση» εξετάζει λεπτομερώς προηγούμενες εφαρμογές της HSI στην ανάλυση δερματικού ιστού, ακολουθώντας τις κατευθυντήριες γραμμές PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analysis). Προσδιορίζονται οι τάσεις στον σχεδιασμό συστημάτων λήψης, στην προεπεξεργασία και στη λήψη αποφάσεων. Παρουσιάζονται, επίσης, τα τρέχοντα ερευνητικά κενά.Το Κεφάλαιο 3 «Υλικά» εισάγει τα συστήματα λήψης δεδομένων —ένα σύστημα Πολυφασματικής Απεικόνισης (MSI) και ένα σύστημα HSI— καθώς και δύο αντίστοιχα πρωτογενή σύνολα δεδομένων (datasets) μελαγχρωματικών βλαβών, συμπεριλαμβανομένων των πρωτοκόλλων συλλογής δεδομένων και σήμανσης (labeling). Επεξηγούνται οι πληροφορίες που καταγράφονται από κάθε σύστημα λήψης καθώς και παραδείγματα δειγμάτων δεδομένων. Σχεδιάστηκε και βαθμονομήθηκε ένα εξατομικευμένο σύστημα λήψης HSI με υψηλή φασματική ανάλυση και ευρύ οπτικό πεδίο. Παρουσιάζονται, τέλος, οι μετρικές αξιολόγησης που σχετίζονται με τον περαιτέρω πειραματισμό.Το Κεφάλαιο 4 «Αποτελεσματικότητα της Υπερφασματικής Απεικόνισης στην Ταξινόμηση Όγκων» διερευνά την αποτελεσματικότητα των δεδομένων HSI έναντι των δεδομένων RGB. Οι φασματικές υπογραφές HSI ανακατασκευάστηκαν τόσο από δεδομένα MSI όσο και από δεδομένα RGB. Η ταξινόμηση των υπογραφών ως όγκων ή μη επικυρώθηκε και αξιολογήθηκε με τη χρήση μηχανικής μάθησης. Προτάθηκε ένα πλαίσιο για την οπτικοποίηση των αποτελεσμάτων. Τα χαρακτηριστικά ανάκλασης και υφής από την HSI αποδείχθηκαν ανώτερα από τα αντίστοιχα RGB για την ταξινόμηση της βλάβης είτε ως όγκου είτε ως μη νεοπλασματικής ανάπτυξης. Το Κεφάλαιο 5 «Επίδραση της Μονιμοποίησης με Φορμαλίνη στις Συγκεντρώσεις Χρωμοφόρων» εξετάζει τους δύο διαθέσιμους τύπους ιστού κατά τη μακροσκοπική εξέταση, δηλαδή τον μη επεξεργασμένο (ζωντανό/νωπό) και τον μονιμοποιημένο με φορμαλίνη ιστό. Όταν εφαρμόζονται αντιολισθητικά πρωτόκολλα (π.χ. κατά τη διάρκεια μιας πανδημίας), προσβάσιμα είναι μόνο τα δείγματα που έχουν μονιμοποιηθεί με φορμαλίνη. Οι οπτικές ιδιότητες του ιστού εξαρτώνται από τις συγκεντρώσεις των χρωμοφόρων του δέρματος. Δημιουργήθηκαν χάρτες σχετικών συγκεντρώσεων μελανίνης και αιμοσφαιρίνης από ζεύγη εικόνων HSI του ιστού, πριν και μετά τη μονιμοποίηση με φορμαλίνη. Το περιεχόμενο σε μελανίνη διατηρείται σε μεγάλο βαθμό μετά τη μονιμοποίηση, αλλά το περιεχόμενο σε αιμοσφαιρίνη μεταβάλλεται. Ενώ ο ιστός που έχει υποστεί μονιμοποίηση με φορμαλίνη μπορεί να επαρκεί για την ανάλυση μελανοκυτταρικών βλαβών, για την ανάλυση HSI μελαγχρωματικών βλαβών θα πρέπει να χρησιμοποιείται μη επεξεργασμένος ιστός.Το Κεφάλαιο 6 «Επίδραση της Μείωσης Διαστάσεων στην Ανίχνευση Ορίων Όγκου» διερευνά την επίδραση της μείωσης διαστάσεων στην κατάτμηση του όγκου. Οι φασματικές υπογραφές HSI είναι διανύσματα εκατοντάδων σημείων, γεγονός που εισάγει πλεονασμούς και επηρεάζει την πολυπλοκότητα. Δεν υπάρχουν διαθέσιμες κατευθυντήριες γραμμές για τη μείωση διαστάσεων δεδομένων HSI από μακροσκοπικό δερματικό ιστό. Χρησιμοποιήθηκαν έντεκα μέθοδοι μείωσης διαστάσεων για τη συμπίεση των φασματικών υπογραφών και την εκπαίδευση ενός ταξινομητή. Προτάθηκε μια νέα μέθοδος βασισμένη στην ομαδοποίηση (clustering) και τη φασματική ομοιότητα. Η μέθοδος, το πεδίο εκπαίδευσης και ο αριθμός των διατηρούμενων διαστάσεων επηρέασαν την απόδοση της κατάτμησης. Οι τυπικές μέθοδοι, όπως η Ανάλυση Κύριων Συνιστωσών (PCA), δεν αποδίδουν απαραίτητα καλά. Η καταλληλότητα της μείωσης διαστάσεων θα πρέπει να επιβεβαιώνεται με τα δεδομένα-στόχους πριν από περαιτέρω πειραματισμούς. Το Κεφάλαιο 7 «Υλοποίηση και Σκοπιμότητα της Ανίχνευσης Ορίων Όγκου βάσει HSI» εξετάζει τη σκοπιμότητα της μη επεμβατικής κατάτμησης όγκων για μελαγχρωματικές βλάβες κατά τη μακροσκοπική εξέταση. Η κατάτμηση αποτελεί έναν νέο τομέα για την ανάλυση HSI στην ιατρική. Προτάθηκαν δύο πλαίσια: ένα για ανάλυση ανά εικονοστοιχείο (pixel-wise) και ένα για ανάλυση ανά τμήμα/ψηφίδα (patch-based). Τόσο μοντέλα μηχανικής μάθησης όσο και μοντέλα βαθιάς μάθησης εξετάστηκαν ως βασικά στοιχεία αυτών των πλαισίων. Τα μοντέλα αυτά βασίστηκαν σε χάρτες αφθονίας, ομαδοποίηση, Μηχανές Διανυσμάτων Υποστήριξης (SVM) και τρισδιάστατα συνελικτικά δίκτυα (3D CNN).Το πλαίσιο ανάλυσης ανά εικονοστοιχείο έδειξε την καλύτερη απόδοση ως προς τον συντελεστή Jaccard, αλλά παρουσίασε ψευδώς θετικά αποτελέσματα στα όρια του ιστού και δεν μπορεί εύκολα να κλιμακωθεί (scaled) για μεγαλύτερα σύνολα δεδομένων. Ένα εξατομικευμένο μοντέλο βασισμένο στην αρχιτεκτονική Xception και σε τρισδιάστατη συνέλιξη είχε παρόμοια απόδοση με τα κορυφαία (state-of-the-art) μοντέλα ταξινόμησης. Κατάφερε να ανιχνεύσει καμπυλόγραμμα τμήματα όγκου, ενώ παρουσιάζει περιθώρια βελτίωσης μέσω της προσαρμογής του βάθους της δομής και του πυρήνα (kernel) για τη φασματική συνέλιξη. Το πλαίσιο ανάλυσης ανά τμήμα/ψηφίδα κατάφερε να κατατμήσει συμπαγείς μάσκες όγκου, υποδεικνύοντας ότι η συμπερίληψη τόσο της χωρικής όσο και της φασματικής πληροφορίας είναι επωφελής. Το Κεφάλαιο 8 «Συμπεράσματα» ολοκληρώνει την εργασία αυτή συνοψίζοντας τα ευρήματα της μελέτης, επισημαίνοντας τους περιορισμούς και παρέχοντας κατευθύνσεις για μελλοντική έρευνα. Προτάθηκαν ένα εξατομικευμένο σύστημα HSI και ένα πλαίσιο για την ανίχνευση των ορίων του όγκου μελαγχρωματικών βλαβών κατά τη μακροσκοπική εξέταση, σημειώνοντας πολλά υποσχόμενα αποτελέσματα. Οι γνώσεις που αποκτήθηκαν σχετικά με το σύστημα και τη δημιουργία μοντέλων προσφέρουν πολύτιμα εφόδια για τον χειρισμό δεδομένων HSI στην υποβοηθούμενη από υπολογιστή διάγνωση στη μακροσκοπική παθολογική ανατομική μελαγχρωματικών βλαβών. Τα πλαίσια που προτείνονται σε αυτή την εργασία μπορούν να βελτιστοποιηθούν για την ψηφιοποίηση και την αυτοματοποίηση της μακροσκοπικής εξέτασης, ή ακόμη και να επεκταθούν για την πρώιμη διάγνωση in-situ καρκίνων του δέρματος. Το ενδιαφέρον της αξιολόγησης του συστήματος θα πρέπει να μετατοπιστεί προς την εξηγησιμότητα (explainability) και τη στιβαρότητα της διαδικασίας λήψης αποφάσεων, προκειμένου η HSI να χρησιμοποιηθεί για την ανίχνευση ορίων όγκου στην κλινική πράξη.