Development of drift-adaptive machine learning methods to support health desicion making in dynamic data contexts

Abstract

The deployment of conventional artificial intelligence (AI) systems in healthcare is often challenged by the phenomenon of data shift, referring to the deviation between the data distributions used for training and those encountered during real-world deployment. Data shifts may arise from temporal dynamics or from changes in data acquisition conditions, leading to reduced accuracy, generalization, and ultimately reliability of AI models. This issue is of particular importance in healthcare, where data are inherently heterogeneous and continuously evolving. The need to address data shifts has given rise to the research field of resilient AI, which focuses on developing systems capable of detecting and adapting to distributional changes while maintaining high performance and robustness. Within this context, the present thesis investigates two fundamental forms of data shift frequently observed in healthcare: temporal shifts in data streams and acquisition shifts in multi-cohort data. Temporal shift occurs in environments where data are collected continuously under conditions that may vary over time. Dynamic external factors, such as changes in recording devices, demographic variations among user subgroups, or even the natural evolution of the phenomena being monitored (e.g., the evolution of a virus during a pandemic), lead to statistical distributional changes and, consequently, model performance degradation. This thesis investigates this form of shift through the detection of COVID-19 using crowdsourced cough audio recordings, employing the COVID-19 Sounds and COSWARA datasets. A comprehensive, drift monitoring and adaptive framework for data streams is developed, utilizing the Maximum Mean Discrepancy (MMD) metric to detect distributional changes and trigger model adaptation mechanisms when a shift is identified. The datasets were temporally divided into development and deployment periods. A baseline Convolutional Neural Network (CNN) was trained on development data, achieving AUC values of 69.13% and 66.8%, and balanced accuracy of 63.38% and 61.64% for the COVID-19 Sounds and COSWARA datasets, respectively. Evaluation on deployment data revealed a significant performance decline, confirming the presence of temporal drift. Two model adaptation strategies were employed, unsupervised domain adaptation (UDA) and active learning (AL). Applying UDA improved balanced accuracy by up to 22% and 24% for the two datasets, while AL yielded even greater improvements of up to 30% and 60%, respectively. The obtained results demonstrate that integrating drift detection with adaptive learning significantly enhances the robustness of COVID-19 detection models, enabling them to maintain high performance even in the presence of severe distribution shifts. In multi-cohort data, data shifts often arise due to variations in equipment, acquisition protocols, and population demographics. Such acquisition-based variations affect model generalization, as training and deployment occur across data from different sources, requiring robust domain adaptation techniques to ensure consistent performance across diverse clinical settings. This dissertation addresses the problem through the risk stratification of cardiovascular disease using carotid ultrasound imaging. First, an interpretable ensemble of three deep learning models was developed to classify symptomatic and asymptomatic atherosclerotic cases using data from the General University Hospital “Attikon”, consisting of 96 ultrasound images. The model is consisted of three independently trained CNNs. To handle class imbalance, subsampling of training sets, a two-phase training strategy, and cost-sensitive weighting were employed. The final ensemble achieved an AUC of 73%, sensitivity of 75%, and specificity of 70%, demonstrating adequate discriminative performance. Interpretability methods were applied to the model’s predictions, highlighting anatomical regions features associated with increased cardiovascular risk and providing novel insights into the clinical understanding of the phenomenon.Subsequently, the quantification of domain shift across different imaging centers was investigated. A CNN model trained on data from “Attikon” was evaluated on the Carotid Ultrasound Boundary Study (CUBS) dataset comprising 689 samples. Model performance declined from AUC 90.1% and accuracy 89.7% on the source dataset to AUC 45.6% and accuracy 34.3% on CUBS, confirming the significant effect of data shift. Distance metrics such as Hellinger distance, Kullback–Leibler (KL) divergence, and MMD were computed between the feature distributions of the two datasets across multiple representation depths. The analysis revealed strong negative correlations between the quantified degree of shift and model accuracy (e.g., ρ = –0.75 for Hellinger distance), providing practical tools for assessing and predicting model generalization under domain shift conditions. To holistically address these challenges, an interpretable active learning framework is proposed, integrating uncertainty estimation via Monte Carlo Dropout, a representativeness criterion based on MMD, and pseudo-labeling for efficient model retraining and adaptation. The framework achieved 94.2% of the optimal performance using only 28.2% of the data, while interpretability techniques such as Grad-CAM and LIME provided transparency in both model predictions and uncertainty estimates, reinforcing AI reliability in real clinical settings. Overall, this dissertation makes a significant contribution to the understanding and mitigation of data shift in AI-based healthcare applications. By developing frameworks for the detection, adaptation, and interpretation of models under dynamic data conditions, it advances the creation of robust, efficient, and interpretable AI systems capable of maintaining reliable performance in real-world, evolving clinical environments.

Η ανάπτυξη αξιόπιστων και εύρωστων συστημάτων τεχνητής νοημοσύνης (ΤΝ) στον τομέα της υγείας συνιστά μια από τις πλέον φιλόδοξες προκλήσεις της σύγχρονης ΤΝ. Παρά την εντυπωσιακή πρόοδο σε τεχνικές μηχανικής και βαθιάς μάθησης, η πρακτική εφαρμογή τέτοιων συστημάτων συχνά υπονομεύεται από το φαινόμενο της μετατόπισης δεδομένων, δηλαδή την απόκλιση ανάμεσα στις κατανομές δεδομένων που χρησιμοποιούνται για την εκπαίδευση και εκείνες που συναντώνται κατά την εφαρμογή των μοντέλων σε πραγματικά, άγνωστα περιβάλλοντα. Η μετατόπιση δεδομένων μπορεί να προκύψει είτε από χρονικές δυναμικές αλλαγές είτε από αλλαγές στις συνθήκες συλλογής των δεδομένων, με συνέπεια τη μείωση της ακρίβειας, της γενίκευσης και, κυρίως, της αξιοπιστίας των μοντέλων ΤΝ. Το πρόβλημα αυτό αποκτά κρίσιμη σημασία στον τομέα της υγείας, όπου τα δεδομένα είναι εγγενώς ετερογενή και μεταβαλλόμενα. Η ανάγκη αντιμετώπισης των μετατοπίσεων των δεδομένων έχει οδηγήσει στη διαμόρφωση του ερευνητικού πεδίου της ανθεκτικής ΤΝ, που αποσκοπεί στην ανάπτυξη συστημάτων ικανών να ανιχνεύουν και να προσαρμόζονται σε μεταβολές των δεδομένων διατηρώντας υψηλή απόδοση και ευρωστία. Στο πλαίσιο αυτό, η παρούσα διατριβή εξετάζει δύο κύριες μορφές μετατόπισης που απαντώνται συχνά στον χώρο της υγείας: τη χρονική μετατόπιση σε ροές δεδομένων και τη μετατόπιση κατά τη συλλογή δεδομένων από πολλαπλούς φορείς. Η χρονική μετατόπιση εμφανίζεται σε περιβάλλοντα όπου τα δεδομένα συλλέγονται με τη μορφή ροής, υπό συνθήκες που μεταβάλλονται με το χρόνο. Δυναμικοί εξωτερικοί παράγοντες, όπως αλλαγές στις συσκευές καταγραφής, διαφοροποιήσεις στα δημογραφικά χαρακτηριστικά του πληθυσμού ή ακόμη και η φυσική εξέλιξη των ίδιων των φαινομένων που παρατηρούνται (π.χ. η εξέλιξη ενός ιού στη διάρκεια μιας πανδημίας), οδηγούν σε στατιστικές μεταβολές των κατανομών και, κατά συνέπεια, σε μείωση της απόδοσης των μοντέλων. Η διατριβή διερευνά αυτή τη μορφή μετατόπισης μέσω της ανίχνευσης της νόσου COVID-19 από πληθοποριστικές ηχητικές καταγραφές βήχα, αξιοποιώντας τα σύνολα δεδομένων COVID-19 Sounds και COSWARA. Αναπτύχθηκε ένα προσαρμοστικό πλαίσιο παρακολούθησης ροών δεδομένων, το οποίο χρησιμοποιεί τη μετρική Maximum Mean Discrepancy (MMD) για τον εντοπισμό αποκλίσεων στις κατανομές των δεδομένων και ενεργοποιεί μηχανισμούς προσαρμογής του βασικού μοντέλου πρόβλεψης όταν ανιχνεύεται μετατόπιση. Τα σύνολα δεδομένων διαχωρίστηκαν χρονικά σε περιόδους ανάπτυξης και εφαρμογής. Το βασικό μοντέλο πρόβλεψης αποτελείται από ένα συνελικτικό νευρωνικό δίκτυο, το οποίο αρχικά εκπαιδεύτηκε σε δεδομένα της περιόδου ανάπτυξης, επιτυγχάνοντας AUC 69.13% και 66.8% και ισορροπημένη ακρίβεια 63.38% και 61.64% στα σύνολα COVID-19 Sounds και COSWARA, αντίστοιχα. Κατά την αξιολόγηση στα δεδομένα εφαρμογής, παρατηρήθηκε σημαντική μείωση της επίδοσης, επιβεβαιώνοντας την παρουσία χρονικής μετατόπισης. Με την εφαρμογή μη εποπτευόμενης προσαρμογής πεδίου (UDA), η ισορροπημένη ακρίβεια αυξήθηκε έως και 22% και 24%, αντίστοιχα, για τα δύο σύνολα δεδομένων, ενώ με τη χρήση ενεργής μάθησης (AL) παρατηρήθηκε ακόμη μεγαλύτερη βελτίωση, έως 30% και 60%, αντίστοιχα. Τα αποτελέσματα καταδεικνύουν ότι η συνδυαστική ενσωμάτωση ανίχνευσης μετατοπίσεων και προσαρμοστικής μάθησης ενισχύει σημαντικά την ανθεκτικότητα των μοντέλων, επιτρέποντας τη διατήρηση της αξιοπιστίας των συστημάτων ΤΝ σε δυναμικά περιβάλλοντα υγείας. Κατά τη συλλογή δεδομένων από πολλαπλούς φορείς, η μετατόπιση δεδομένων προκύπτει συχνά από διαφοροποιήσεις στον εξοπλισμό, στα πρωτόκολλα απεικόνισης και στα χαρακτηριστικά των πληθυσμών που συμμετέχουν. Οι μεταβολές αυτές επηρεάζουν τη γενίκευση των μοντέλων, καθώς η εκπαίδευση και η εφαρμογή τους πραγματοποιούνται σε δεδομένα διαφορετικών πηγών. Η διατριβή προσεγγίζει το πρόβλημα της διαστρωμάτωσης καρδιαγγειακού κινδύνου από υπερηχογραφικές απεικονίσεις καρωτίδας. Αρχικά, αναπτύχθηκε ένα ερμηνεύσιμο συλλογικό μοντέλο βαθιάς μάθησης για την ταξινόμηση συμπτωματικών και ασυμπτωματικών δειγμάτων αθηροσκλήρωσης από δεδομένα του Γενικού Πανεπιστημιακού Νοσοκομείου «Αττικόν», που αποτελείται από 96 υπερηχογραφικές απεικονίσεις. Το μοντέλο βασίζεται σε τρία συνελικτικά νευρωνικά δίκτυα που εκπαιδεύτηκαν ανεξάρτητα. Για την αντιμετώπιση της ανισορροπίας των κλάσεων εφαρμόστηκε υποδειγματοληψία στα σύνολα εκπαίδευσης των βασικών ταξινομητών, εκπαίδευση δύο σταδίων, καθώς και στάθμιση της συνεισφοράς των δειγμάτων διαφορετικών κλάσεων κατά την εκπαίδευση. Το τελικό μοντέλο πέτυχε AUC 73%, ευαισθησία 75% και ειδικότητα 70%, επιτυγχάνοντας αποδεκτή διακριτική ικανότητα. Μέθοδοι ερμηνευσιμότητας εφαρμόστηκαν στις προβλέψεις του μοντέλου, αναδεικνύοντας τα μορφολογικά χαρακτηριστικά που σχετίζονται με αυξημένο καρδιαγγειακό κίνδυνο και προσφέροντας νέες ενδείξεις για την κλινική κατανόηση του φαινομένου. Στη συνέχεια, διερευνήθηκε η ποσοτικοποίηση της μετατόπισης πεδίου μεταξύ διαφορετικών απεικονιστικών κέντρων. Ένα συνελικτικό νευρωνικό δίκτυο εκπαιδεύτηκε σε δεδομένα του Γενικού Πανεπιστημιακού Νοσοκομείου «Αττικόν» και αξιολογήθηκε στο σύνολο Carotid Ultrasound Boundary Study (CUBS), που αποτελείται από 689 δείγματα. Η απόδοση μειώθηκε από 90.1% και 89.7% για το AUC και την ακρίβεια στο αρχικό σύνολο σε 45.6% και 34.3%, αντίστοιχα, στο CUBS, επιβεβαιώνοντας τη σημαντική επίδραση της μετατόπισης δεδομένων. Μετρικές όπως η Hellinger distance, η Kullback-Leibler divergence, και η MMD υπολογίστηκαν μεταξύ των κατανομών των δύο συνόλων, ενώ για τον υπολογισμό τους χρησιμοποιήθηκαν τα χαρακτηριστικά που εξάγει το μοντέλο σε διαφορετικά επίπεδα ώστε να διερευνηθεί το βέλτιστο επίπεδο αφαίρεσης. Η ανάλυση ανέδειξε ισχυρή συσχέτιση μεταξύ του βαθμού μετατόπισης και της μείωσης της ακρίβειας (ρ = –0.75 για την Hellinger distance), παρέχοντας πρακτικά εργαλεία για την εκτίμηση της γενικευσιμότητας μοντέλων βαθιάς μάθησης. Για την αντιμετώπιση των μετατοπίσεων, αναπτύχθηκε ένα ερμηνεύσιμο πλαίσιο ενεργής μάθησης, το οποίο ενσωματώνει εκτίμηση αβεβαιότητας μέσω Monte Carlo Dropout, κριτήριο αντιπροσωπευτικότητας με χρήση MMD και ψευδο-ετικέτες για αποδοτική επανεκπαίδευση και προσαρμογή του μοντέλου. Το πλαίσιο πέτυχε το 94.2% της βέλτιστης απόδοσης χρησιμοποιώντας μόνο το 28.2% των δεδομένων, ενώ τεχνικές ερμηνευσιμότητας όπως Grad-CAM και LIME παρείχαν διαφάνεια τόσο στις προβλέψεις του μοντέλου όσο και στην εκτίμηση της αβεβαιότητας, ενισχύοντας την αξιοπιστία της ΤΝ σε πραγματικά κλινικά περιβάλλοντα. Η διατριβή συμβάλλει ουσιαστικά στην κατανόηση και αντιμετώπιση του φαινομένου της μετατόπισης δεδομένων σε συστήματα ΤΝ για την υγεία. Μέσω της ανάπτυξης πλαισίων ανίχνευσης, προσαρμογής και ερμηνείας των μοντέλων σε μεταβαλλόμενα δεδομένα, προάγει τη δημιουργία ανθεκτικών, αποδοτικών και ερμηνεύσιμων συστημάτων ΤΝ, ικανών να διατηρούν αξιόπιστη απόδοση σε πραγματικά, δυναμικά κλινικά περιβάλλοντα.