Decision support system development for prognosis and diagnosis in nuclear medicine

Abstract

CVDs and lung cancer constitute the leading causes of mortality globally, accounting for millions of deaths annually. CAD and NSCLC present significant diagnostic challenges, requiring accurate, timely, and reliable diagnostic tools. Nuclear medicine imaging techniques—Single Photon Emission Computed Tomography (SPECT) for CAD and Positron Emission Tomography/Computed Tomography (PET/CT) for NSCLC—provide crucial diagnostic information but face limitations including inter-observer variability, time-intensive interpretation, and the inherent complexity of medical image analysis. While AI has demonstrated remarkable potential in medical diagnosis, widespread clinical adoption faces a critical barrier: the "black box" problem. Clinicians require transparent, interpretable AI systems that provide not just predictions but also clear explanations of the reasoning behind such predictions. This doctoral dissertation addresses this fundamental challenge by developing explainable AI methodologies specifically tailored for nuclear medicine diagnostics. The research pursued four principal aims: (1) developing high-accuracy AI models for CAD and NSCLC diagnosis across multiple data modalities, (2) pioneering novel XAI techniques tailored to different AI architectures, (3) addressing data scarcity through synthetic medical image generation using Generative Adversarial Networks (GANs), and (4) empirically evaluating human-AI collaboration by quantifying the synergistic value of integrating expert clinical judgment with AI predictions. Furthermore, as a concrete deliverable, a Medical Decision Support System (MDSS) was designed and developed, that encompasses and combines all the afore mentioned pillars of the current research. Utilizing clinical data from 571 patients, multiple ML algorithms (Random Forest, SVM, CatBoost, AdaBoost among others) were developed for CAD diagnosis and prognosis. The most important innovation was incorporating expert clinical judgment directly into the AI model as an input feature—the "doctor-in-the-loop" paradigm. This approach achieved 83.02% accuracy, significantly exceeding both expert-alone performance (78.81%) and AI-alone performance (78.82%). SHAP explainability analysis revealed that the expert's diagnosis was the single most influential predictor, followed by established cardiovascular risk factors such as diabetes, known CAD, and hypertension. On the matter of CAD prognosis, the trained models managed to almost match the medical expert’s accuracy, by achieving accuracy of 76.21%. This research provides quantitative evidence for partnership over replacement, challenging prevailing "AI replacement" narratives and demonstrating that optimal diagnostic performance emerges from human-AI collaboration. For NSCLC characterization, two parallel diagnostic pathways were developed: clinical-data-only (456 patients) and image-data-only (456 patients). Four deep learning architectures (YOLOv8, VGG-16, ResNet, MobileNet) were systematically evaluated over PET and CT scans. YOLOv8 achieved state-of-the-art performance with 92.3% accuracy on CT images and 89.0% on PET images, demonstrating exceptionally low false positive rates (2.27% on PET). On this matter, a critical contribution is the development of a novel explainability technique—ablation heatmaps—specifically designed for YOLOv8. This model-agnostic method systematically occludes image regions to identify critical diagnostic features, producing intuitive visual explanations. Nuclear medicine physicians confirmed that heatmaps highlighted anatomically plausible features (nodule margins, metabolic activity), building trust in AI reasoning. For malignant cases, heatmaps centered on regions of elevated metabolic activity and irregular margins; for benign cases, they showed diffuse, low-intensity patterns reflecting the absence of concerning features.To address the pervasive challenge of medical data scarcity, MedScanGAN—a specialized conditional Generative Adversarial Network—was developed to synthesize high-fidelity PET/CT images. The architecture incorporates domain-specific enhancements including Wasserstein loss with gradient penalty, spectral normalization, and anatomical conditioning to enable stable training on limited datasets. Expert physicians achieved 36.87% accuracy (PET) and 84.37% accuracy (CT) in distinguishing real from synthetic images, demonstrating good visual realism, especially for the synthetic PET scans. Quantitative evaluation showed Fréchet Inception Distance scores of 28.3 (PET) and 21.7 (CT), representing 40-45% improvement over baseline GANs. Most importantly, training classifiers with 1:2 real-to-synthetic augmentation improved downstream accuracy by 1.5-2.2 percentage points— effectively translating to hundreds of additional correct diagnoses in large screening programs. The culmination of this research is an integrated, web-based MDSS that unifies distinct AI models with automatic explainability generation. The system features flexible operational modes (Clinical-only and Image-only) that accommodate real-world heterogeneity in available patient data. CAD models include Random Forest, CatBoost, and VGG-16 among others; NSCLC models include AdaBoost, YOLOv8, VGG-16, ResNet, and MobileNet. Every prediction is accompanied by SHAP charts (for ML models) or ablation heatmaps (for DL models), ensuring the all-too-important transparency. Five detailed case studies validated practical clinical utility across multiple dimensions: diagnostic augmentation (AI + Expert achieved 83.02% vs. Expert-alone 78.82%), quality assurance (visual confirmation of appropriate feature focus), confidence calibration (appropriate uncertainty quantification for ambiguous cases), and error detection (explainability enabling clinicians to identify and override false predictions).Beyond domain-specific contributions, this thesis aims to advance AI methodology more broadly. The ablation heatmap technique provides a model-agnostic explainability method applicable to any image classification architecture, particularly valuable for complex models like YOLOv8 where standard gradient-based techniques are difficult to apply. The empirical human-AI collaboration framework provides accurate quantification of synergy between expert judgment and AI, offering evidence-based guidance for clinical AI deployment. The domain-adapted GAN architecture demonstrates that medical-specific enhancements enable stable training and high-fidelity synthesis even on limited datasets, feasibly establishing a roadmap for addressing data scarcity across medical imaging applications. This research has generated short-term and long-term observations for healthcare delivery. AI-augmented diagnosis achieved 4.21 absolute percentage points higher accuracy than expert-alone for CAD, potentially preventing delayed diagnoses and unnecessary invasive procedures. AI provides consistent, objective assessments that reduce inter-observer variability plaguing nuclear medicine interpretation, contributing to standardization across institutions. Automated pre-screening with YOLOv8 enables real-time triage at approximately 25 milliseconds per image, flagging concerning cases for immediate radiologist attention and improving workflow efficiency. Once validated through multi-center trials, these AI tools could be deployed broadly, providing expert-level diagnostic support in resource-limited settings lacking specialized nuclear medicine physicians, thereby democratizing access to high-quality diagnostics. Furthermore, the explainability features serve as educational tools, allowing medical trainees to compare their assessments with AI's "focus of attention" and learn to recognize subtle diagnostic features.Nevertheless, certain limitations warrant acknowledgment. All models were trained on data from a single institution (University Hospital of Patras, Greece), and multi-center external validation is essential to assess generalizability across different patient populations, scanner types, and imaging protocols. The retrospective design, while appropriate for model development, cannot definitively establish real-world clinical impact; prospective randomized clinical trials measuring patient outcomes are necessary. The MDSS requires formal regulatory clearance (FDA 510(k), EU CE marking) before clinical deployment, necessitating extensive validation studies, quality management systems, and post-market surveillance plans. DL models require GPU acceleration for practical inference speeds, which may limit deployment in resource-constrained settings unless addressed through model compression or cloud-based inference architectures. This doctoral thesis demonstrates that accurate, explainable, and clinically useful AI for nuclear medicine diagnostics and prognostics is achievable. The "doctor-in-the-loop" approach provides empirical evidence that AI and human expertise can combine synergistically, achieving superior performance compared to either alone. Novel explainability techniques—specifically the ablation heatmap method—enable transparent AI reasoning for state-of-the-art DL architectures, fostering clinical trust and adoption. The integrated MDSS represents a significant step toward clinical translation, packaging diverse AI models into a unified, accessible platform. While full deployment requires multi-center validation and regulatory approval, this research establishes a robust foundation for AI-augmented nuclear medicine practice. Looking forward, the methodologies developed here—human-AI collaboration frameworks, model-agnostic explainability techniques, and domain-adapted synthetic data generation—extend beyond nuclear medicine to broader medical AI applications. As healthcare increasingly adopts AI technologies, the principles demonstrated in this thesis—transparency, partnership, and exhaustive validation—could be essential for realizing AI's transformative potential while maintaining patient safety and clinician trust. This research aims to help bridge the gap between AI capability and clinical utility, and demonstrate that explainable, collaborative AI can enhance diagnostic and prognostic accuracy while preserving human judgment and accountability.

Τα καρδιαγγειακά νοσήματα (CVDs) και ο καρκίνος του πνεύμονα αποτελούν τις κύριες αιτίες θνησιμότητας παγκοσμίως, ευθυνόμενα για εκατομμύρια θανάτους ετησίως. Η στεφανιαία νόσος (CAD) και ο μη μικροκυτταρικός καρκίνος του πνεύμονα (NSCLC) παρουσιάζουν σημαντικές διαγνωστικές προκλήσεις, απαιτώντας ακριβή, έγκαιρα και αξιόπιστα διαγνωστικά εργαλεία. Οι τεχνικές απεικόνισης της πυρηνικής ιατρικής—η Τομογραφία Εκπομπής Μονοφωτονίων (SPECT) για τη CAD και η Τομογραφία Εκπομπής Ποζιτρονίων/Αξονική Τομογραφία (PET/CT) για το NSCLC—παρέχουν κρίσιμες διαγνωστικές πληροφορίες, αλλά αντιμετωπίζουν περιορισμούς, όπως η δια-παρατηρητική μεταβλητότητα, ο χρονοβόρος χαρακτήρας της ερμηνείας και η εγγενής πολυπλοκότητα της ανάλυσης ιατρικών εικόνων. Παρότι η Τεχνητή Νοημοσύνη (TN/AI) έχει επιδείξει αξιοσημείωτες δυνατότητες στην ιατρική διάγνωση, η ευρεία κλινική υιοθέτηση αντιμετωπίζει ένα κρίσιμο εμπόδιο: το πρόβλημα του «μαύρου κουτιού». Οι κλινικοί ιατροί απαιτούν διαφανή και ερμηνεύσιμα συστήματα AI, που να παρέχουν όχι μόνο προβλέψεις αλλά και σαφείς εξηγήσεις για τον τρόπο με τον οποίο αυτές προκύπτουν.Η παρούσα διδακτορική διατριβή αντιμετωπίζει αυτή τη θεμελιώδη πρόκληση, αναπτύσσοντας μεθοδολογίες εξηγήσιμης τεχνητής νοημοσύνης (Explainable AI – XAI) ειδικά προσαρμοσμένες στη διαγνωστική της πυρηνικής ιατρικής. Η έρευνα εστίασε σε τέσσερις βασικούς στόχους: (1) την ανάπτυξη μοντέλων AI υψηλής ακρίβειας για τη διάγνωση CAD και NSCLC σε πολλαπλές μορφές δεδομένων, (2) την εισαγωγή καινοτόμων τεχνικών XAI προσαρμοσμένων σε διαφορετικές αρχιτεκτονικές AI, (3) την αντιμετώπιση της έλλειψης δεδομένων μέσω σύνθεσης ιατρικών εικόνων με τη χρήση Γενετικών Ανταγωνιστικών Δικτύων (GANs), και (4) την εμπειρική αξιολόγηση της συνεργασίας ανθρώπου-AI μέσω ποσοτικοποίησης της συνεργιστικής αξίας μεταξύ κλινικής εμπειρίας και προβλέψεων AI. Επιπλέον, ως απτό αποτέλεσμα, σχεδιάστηκε και αναπτύχθηκε ένα Σύστημα Υποστήριξης Ιατρικών Αποφάσεων (MDSS), το οποίο ενσωματώνει και συνδυάζει όλους τους παραπάνω άξονες της έρευνας.Χρησιμοποιώντας κλινικά δεδομένα από 571 ασθενείς, αναπτύχθηκαν πολλαπλοί αλγόριθμοι μηχανικής μάθησης (Random Forest, SVM, CatBoost, AdaBoost κ.ά.) για τη διάγνωση και πρόγνωση της CAD. Η σημαντικότερη καινοτομία ήταν η ενσωμάτωση της κλινικής κρίσης του ιατρού ως χαρακτηριστικού εισόδου στο μοντέλο—το λεγόμενο «doctor-in-the-loop» παράδειγμα. Η προσέγγιση αυτή πέτυχε ακρίβεια 83,02%, υπερβαίνοντας σημαντικά τόσο την απόδοση του ιατρού μόνο (78,81%) όσο και της AI μόνο (78,82%). Η ανάλυση ερμηνευσιμότητας SHAP έδειξε ότι η διάγνωση του ειδικού ήταν ο σημαντικότερος προγνωστικός παράγοντας, ακολουθούμενη από καθιερωμένους παράγοντες κινδύνου, όπως ο διαβήτης, η γνωστή CAD και η υπέρταση. Όσον αφορά την πρόγνωση της CAD, τα μοντέλα πέτυχαν ακρίβεια 76,21%, προσεγγίζοντας την απόδοση των ειδικών. Η έρευνα αυτή παρέχει ποσοτικά στοιχεία υπέρ της συνεργασίας αντί της αντικατάστασης, αμφισβητώντας αφηγήσεις περί «αντικατάστασης από AI». Για τον χαρακτηρισμό του NSCLC, αναπτύχθηκαν δύο παράλληλες διαγνωστικές προσεγγίσεις: μία βασισμένη αποκλειστικά σε κλινικά δεδομένα και μία σε δεδομένα εικόνας (456 ασθενείς η καθεμία). Τέσσερις αρχιτεκτονικές βαθιάς μάθησης (YOLOv8, VGG-16, ResNet, MobileNet) αξιολογήθηκαν συστηματικά σε εικόνες PET και CT. Το YOLOv8 πέτυχε κορυφαία απόδοση με ακρίβεια 92,3% στις CT και 89,0% στις PET, παρουσιάζοντας εξαιρετικά χαμηλά ποσοστά ψευδώς θετικών. Σημαντική συνεισφορά αποτελεί η ανάπτυξη μιας νέας τεχνικής ερμηνευσιμότητας—των heatmaps από απαλοιφή (ablation heatmaps)—ειδικά για το YOLOv8. Η μέθοδος αυτή αποκρύπτει συστηματικά περιοχές της εικόνας για να εντοπίσει κρίσιμα χαρακτηριστικά, παρέχοντας διαισθητικές οπτικές εξηγήσεις. Οι ιατροί επιβεβαίωσαν ότι τα heatmaps εντόπιζαν ανατομικά εύλογα χαρακτηριστικά.Για την αντιμετώπιση της έλλειψης δεδομένων, αναπτύχθηκε το MedScanGAN, ένα εξειδικευμένο GAN για σύνθεση ρεαλιστικών εικόνων PET/CT. Οι ιατροί πέτυχαν χαμηλή ακρίβεια διάκρισης πραγματικών από συνθετικές εικόνες PET (36,87%), υποδεικνύοντας υψηλό ρεαλισμό. Η ενίσχυση δεδομένων βελτίωσε την ακρίβεια ταξινόμησης κατά 1,5–2,2 ποσοστιαίες μονάδες, μεταφραζόμενη σε εκατοντάδες επιπλέον σωστές διαγνώσεις σε μεγάλης κλίμακας προγράμματα. Το αποκορύφωμα της έρευνας είναι ένα ολοκληρωμένο, διαδικτυακό MDSS που ενοποιεί πολλαπλά μοντέλα AI με αυτόματη παραγωγή εξηγήσεων. Το σύστημα υποστηρίζει διαφορετικές λειτουργικές ροές και συνοδεύει κάθε πρόβλεψη με διαγράμματα SHAP ή heatmaps, διασφαλίζοντας διαφάνεια. Μελέτες περίπτωσης επιβεβαίωσαν την κλινική χρησιμότητα σε επίπεδο ενίσχυσης διάγνωσης, διασφάλισης ποιότητας και ανίχνευσης σφαλμάτων. Πέρα από τις εφαρμογές, η διατριβή συμβάλλει ευρύτερα στη μεθοδολογία TN. Οι τεχνικές ερμηνευσιμότητας και τα μοντέλα συνεργασίας ανθρώπου-TN προσφέρουν κατευθυντήριες γραμμές για την κλινική ενσωμάτωση της TN, ενώ τα προσαρμοσμένα GANs ανοίγουν δρόμους για την αντιμετώπιση της έλλειψης δεδομένων. Η έρευνα καταδεικνύει ότι η TN μπορεί να ενισχύσει τη διάγνωση, να μειώσει τη μεταβλητότητα και να βελτιώσει τη ροή εργασίας. Ωστόσο, απαιτείται πολυκεντρική επικύρωση και κανονιστική έγκριση πριν από την κλινική εφαρμογή. Συνολικά, η διατριβή αποδεικνύει ότι η εξηγήσιμη και συνεργατική AI μπορεί να βελτιώσει την ακρίβεια και την αξιοπιστία της ιατρικής διάγνωσης, διατηρώντας τον ανθρώπινο παράγοντα στο επίκεντρο.