Holistic deep learning approaches on medical signals/images

Abstract

This dissertation develops and validates a holistic deep learning framework for the analysis of medical signals and images, structured around three sequentially dependent stages: data quality assurance, deep learning model development, and clinical interpretability. The structure responds to a methodological gap in contemporary medical AI research, in which contributions typically address a single clinical problem, operate on a single data modality, and optimize a single performance metric within a single pipeline stage. The proposed structure aligns with the operational dimensions articulated by the FUTURE-AI international guideline, the requirements of the EU AI Act, and the World Health Organization guidance on AI for health. The contribution is vertical rather than horizontal: the dissertation constructs each pillar to a depth of methodological rigor that existing consensus frameworks identify as necessary but do not themselves construct, and demonstrates the resulting pipeline through six peer-reviewed contributions that converge on clinical domains, mainly dementia and melanoma, each traversed end-to-end from data preparation through modelling to explanation. Stage A introduces SPINE, a multi-criteria post-generation evaluation methodology for synthetic medical images integrating expert domain assessment, statistical data analysis, and adversarial evaluation. Applied to chest X-ray images synthesized through a conditional GAN, the sequential application of quality criteria produced a cumulative improvement in structural similarity between the synthetic and real distributions, with the framework designed to be modality-agnostic and extensible to other modalities. Stage B comprises four deep learning applications distributed across the clinical domains of dementia and melanoma. For dementia, three complementary contributions approach the condition through distinct sensory channels: an ML classifier trained on longitudinal records predicts future onset in initially healthy individuals with a perfect macro-F1 on the test set, with explainable AI feature attributions consistent with established clinical risk factors; the DEFORMISE framework combines anatomically grounded edge-based MRI slice selection with a confidence-based committee of three architecturally heterogeneous 3D networks, achieving state-of-the-art accuracy on the combined OASIS-1 and OASIS-2 test set, with cross-dataset generalization confirmed on external ADNI patients; and the NeuroXVocal system fuses acoustic features, speech embeddings, and textual representations within a transformer-based three-stream classifier, surpassing all prior published methods on the ADReSSo benchmark, while its RAG-based explainer attained a low misinterpretation risk score under structured clinical evaluation by medical professionals. For melanoma, a DNN classifier coupled with a lesion isolation preprocessing pipeline reached state-of-the-art accuracy and macro-F1 on three-class thickness prediction over the Derm7pt benchmark. Stage C presents Fusion Grad-CAM, a methodology for generating consolidated attention maps for majority voting ensemble classifiers through confidence-weighted fusion restricted to majority-contributing models, validated across two-, three-, and four-model ensembles and directly applicable to the Stage B committee architectures. The methodological connective tissue, Stage A on the data side and Stage C on the explanation side, is designed to extend onto the Stage B modalities, with the SPINE framework directly transferable to dermoscopic and MRI inputs and Fusion Grad-CAM directly applicable to the DEFORMISE committee. Taken together, the contributions support the central claim of the dissertation: that the lifecycle structure prescribed by horizontal governance frameworks constitutes a technically achievable engineering paradigm when each pillar is vertically instantiated with domain-specific methodological rigor.

Η διατριβή αναπτύσσει και επικυρώνει ένα ολιστικό πλαίσιο βαθιάς μάθησης για την ανάλυση ιατρικών σημάτων και εικόνων, δομημένο σε τρία διαδοχικά εξαρτώμενα στάδια: διασφάλιση ποιότητας δεδομένων, ανάπτυξη μοντέλων βαθιάς μάθησης και κλινική ερμηνευσιμότητα. Η δομή ανταποκρίνεται σε μεθοδολογικό κενό της σύγχρονης ιατρικής Τεχνητής Νοημοσύνης (ΤΝ), όπου οι συνεισφορές αντιμετωπίζουν τυπικά ένα κλινικό πρόβλημα, μία τροπικότητα δεδομένων, μία μετρική απόδοσης και ένα στάδιο της διαδικασίας. Η προτεινόμενη δομή ευθυγραμμίζεται με τις λειτουργικές διαστάσεις της διεθνούς οδηγίας FUTURE-AI, του EU AI Act και των οδηγιών του Παγκόσμιου Οργανισμού Υγείας για την ΤΝ στην υγεία. Η συνεισφορά είναι κάθετη και όχι οριζόντια: η διατριβή κατασκευάζει κάθε πυλώνα στο βάθος μεθοδολογικής αυστηρότητας που τα υπάρχοντα πλαίσια αναγνωρίζουν ως απαραίτητο, και αποδεικνύει την προκύπτουσα διαδικασία μέσω έξι δημοσιεύσεων σε κύριους κλινικούς τομείς, κυρίως άνοια και μελάνωμα, που διανύονται ολοκληρωμένα, από τα δεδομένα έως την εξήγηση. Το Στάδιο Α εισάγει το SPINE, μεθοδολογία αξιολόγησης συνθετικών ιατρικών εικόνων που συνδυάζει αξιολόγηση από ειδικούς, στατιστική ανάλυση και ανταγωνιστική αξιολόγηση. Εφαρμοζόμενη σε συνθετικές ακτινογραφίες θώρακος, η διαδοχική εφαρμογή κριτηρίων ποιότητας απέδωσε σωρευτική βελτίωση δομικής ομοιότητας μεταξύ συνθετικών και πραγματικών κατανομών, με το πλαίσιο σχεδιασμένο ανεξάρτητο τροπικότητας και επεκτάσιμο. Το Στάδιο Β περιλαμβάνει τέσσερις εφαρμογές βαθιάς μάθησης στους τομείς της άνοιας και του μελανώματος. Για την άνοια, τρεις συμπληρωματικές συνεισφορές προσεγγίζουν την πάθηση: ταξινομητής μηχανικής μάθησης σε διαχρονικά αρχεία προβλέπει μελλοντική εμφάνιση σε αρχικά υγιή άτομα με τέλειο macro-F1, με αποδόσεις χαρακτηριστικών μέσω εξηγήσιμης AI σύμφωνες με καθιερωμένους κλινικούς παράγοντες κινδύνου· το πλαίσιο DEFORMISE συνδυάζει ανατομικά τεκμηριωμένη επιλογή τομών MRI με επιτροπή τριών αρχιτεκτονικά ετερογενών 3D δικτύων, επιτυγχάνοντας ακρίβεια αιχμής στα OASIS-1/2, με επιβεβαιωμένη γενίκευση σε εξωτερικούς ασθενείς ADNI· και το NeuroXVocal συνενώνει ακουστικά χαρακτηριστικά, ενσωματώσεις ομιλίας και κειμενικές αναπαραστάσεις σε ταξινομητή τριών ροών, ξεπερνώντας τις προηγούμενες μεθόδους στο ADReSSo, ενώ ο εξηγητής του βάσει RAG πέτυχε χαμηλό σκορ κινδύνου παρερμηνείας σε δομημένη κλινική αξιολόγηση. Για το μελάνωμα, ταξινομητής βαθιάς μάθησης με προεπεξεργασία απομόνωσης αλλοιώσεων πέτυχε ακρίβεια αιχμής και macro-F1 στην πρόβλεψη πάχους τριών κλάσεων στο Derm7pt. Το Στάδιο Γ παρουσιάζει το Fusion Grad-CAM, μεθοδολογία ενοποιημένων χαρτών προσοχής για ταξινομητές ψηφοφορίας πλειοψηφίας, επικυρωμένη σε σύνολα δύο έως τεσσάρων μοντέλων. Ο μεθοδολογικός συνδετικός ιστός, Στάδιο Α στην πλευρά των δεδομένων και Στάδιο Γ στην πλευρά των εξηγήσεων, επεκτείνεται στις τροπικότητες του Σταδίου Β: το SPINE είναι άμεσα μεταφέρσιμο σε δερμοσκοπικές εικόνες και MRI, και το Fusion Grad-CAM άμεσα εφαρμόσιμο στην επιτροπή DEFORMISE. Συνολικά, οι συνεισφορές υποστηρίζουν τον κεντρικό ισχυρισμό: ότι η δομή κύκλου ζωής που υπαγορεύεται από τα οριζόντια πλαίσια διακυβέρνησης αποτελεί τεχνικά εφικτό μηχανικό παράδειγμα όταν κάθε πυλώνας υλοποιείται κάθετα με μεθοδολογική αυστηρότητα προσαρμοσμένη στο πεδίο.