Design, development, and implementation of an artificial intelligence-based expert system for diagnosing, monitoring, and evaluating treatment in patients with metastatic melanoma using whole-body FDG-PET/CT images

Abstract

Metastatic Melanoma (MM) is a very aggressive type of cancer that produces metastases throughout the body with poor survival rates. MM's treatment is very challenging due to its ability to rapidly disseminate to multiple sites and organs and the complex heterogeneous structure of the tumors. In this regard, personalized medicine that supports cancer and treatment monitoring to allow timely adaptation of the therapeutic plan is increasingly important. For cancer monitoring, a combination of two imaging modalities is commonly used, the Positron Emission Tomography (PET) with Computed Tomography (CT). In PET imaging with the tracer 18F-Fluorodeoxyglucose (FDG), tumor regions exhibit high uptake of the tracer. FDG-PET enables clinicians to extract biomarkers crucial for treatment monitoring. However, quantitative measurements require accurate whole-body tumor lesion identification and delineation, while manual segmentation of multiple heterogeneous lesions is labor-intensive, time-consuming and can cause delays in the clinical workflow. Despite the development of semi-automatic and automatic FDG-PET/CT tumor segmentation methods, performance remains limited by false-positive segmentations and missed lesions. Key challenges include variability in tumor morphology, low spatial resolution of PET images and the tracer accumulation in non-tumor regions such as organs and other physiologic uptake. Additionally, the reliance of widely used and highly accurate Deep Learning methods on large annotated datasets is challenging to satisfy in cancer types with limited case numbers, such as MM. This PhD thesis aims to address these issues and support the quantitative evaluation of whole-body 3D FDG-PET/CT images in the management of metastatic melanoma treatment by developing a comprehensive decision support system (DSS). First, an unsupervised clustering-based method that combined features of the voxels and their neighborhood and an ensemble procedure is developed to segment regions of high uptake from FDG-PET/CT images. Building on this, a comprehensive radiomics analysis led to a tailored pipeline for per-region feature extraction and a deep learning-based classification framework that can distinguish true tumor lesions from non-tumor uptake within the detected regions. Subsequently, a deep learning-based representation learning method is developed to improve feature extraction and learn to extract highly discriminative embeddings of these regions directly from the data. Specifically, a novel position-enhanced learning scheme is proposed to effectively integrate semantic and position-based features, yielding representations useful for downstream clinical tasks, e.g., classification. To this end, a new 3D position-aware Position Encoding Block (PEB) is introduced inside the representation learning method to encode spatial information into the feature vector. The combination of semantic and position information provides enhanced representations where the semantic features are influenced, amplified or suppressed, according to the studied region's anatomical position, size and rotation. Building on them, the aforementioned algorithms are integrated into a unified pipeline to evaluate a semi-automatic quantitative approach for predicting overall survival. Segmentation masks initially generated from the proposed pipeline and subsequently refined through semi-automatic corrections are used to calculate total metabolic tumor volume (TMTV) and total lesion glycolysis (TLG) from scans acquired at three time points per patient. The longitudinal analysis supported the prognostic value of these Artificial Intelligence (AI)-derived metrics, with significant implications for treatment monitoring and personalized therapy. Taking into account the scarcity of data in medical imaging datasets, such as those from MM patients, and the recent advances in generative AI, a whole-body FDG-PET synthesis methodology based on diffusion and rectified flow modeling was developed for data augmentation in tumor segmentation. First, a Variational Autoencoder (VAE) model was trained to generate compressed latent representations of 3D PET images and subsequently, a latent lesion-guided PET synthesis model was trained to produce realistic PET images for enhancing the training of deep learning-based segmentation models. Overall, the thesis focuses on the development of AI algorithms to support the clinical workflow in FDG-PET/CT imaging of metastatic melanoma with broader relevance to oncology imaging.

Το μεταστατικό μελάνωμα (MM) είναι ένας πολύ επιθετικός τύπος καρκίνου που προκαλεί μεταστάσεις σε όλο το σώμα με χαμηλά ποσοστά επιβίωσης. Η θεραπεία του MM είναι πολύ δύσκολη λόγω της ικανότητάς του να εξαπλώνεται γρήγορα σε πολλαπλές θέσεις και όργανα και της πολύπλοκης και ετερογενούς δομής των καρκινικών περιοχών. Σε αυτό το πλαίσιο, η εξατομικευμένη ιατρική που υποστηρίζει την παρακολούθηση της εξέλιξης του καρκίνου και της θεραπείας για να επιτρέψει την έγκαιρη προσαρμογή του θεραπευτικού σχεδίου είναι ολοένα και πιο σημαντική. Για την παρακολούθηση του καρκίνου, χρησιμοποιείται συνήθως ένας συνδυασμός δύο απεικονιστικών μεθόδων, η Τομογραφία Εκπομπής Ποζιτρονίων (PET) με Αξονική Τομογραφία (CT). Στην απεικόνιση PET με τον ιχνηθέτη 18F-Φθοροδεοξυγλυκόζη (18F-Fluorodeoxyglucose, FDG), οι περιοχές του όγκου εμφανίζουν υψηλή πρόσληψη του ραδιοφαρμάκου. Η FDG-PET απεικόνιση επιτρέπει στους κλινικούς ιατρούς να εξάγουν βιοδείκτες κρίσιμους για την παρακολούθηση της θεραπείας. Ωστόσο, οι ποσοτικές μετρήσεις εξαρτώνται από την ακριβή αναγνώριση και οριοθέτηση των καρκινικών βλαβών σε ολόκληρο το σώμα. Η χειροκίνητη τμηματοποίηση αυτών των πολλαπλών περιοχών με ετερογενείς φαινοτύπους και ανατομικές θέσεις μπορεί να είναι μια πολύ χρονοβόρα και επίπονη διαδικασία, που ενδεχομένως να οδηγήσει σε καθυστερήσεις στην κλινική ροή εργασίας. Παρά την ανάπτυξη ημιαυτόματων και αυτόματων μεθόδων τμηματοποίησης όγκων σε FDG-PET/CT, η απόδοση παραμένει περιορισμένη λόγω ψευδώς θετικών τμηματοποιήσεων και χαμένων αλλοιώσεων. Βασικές προκλήσεις περιλαμβάνουν τη μεταβλητότητα στη μορφολογία της καρκινικής περιοχής, τη χαμηλή χωρική ανάλυση των εικόνων PET και τη συσσώρευση ραδιοφαρμάκου σε μη καρκινικές περιοχές, όπως όργανα και άλλες φυσιολογικές προσλήψεις. Επιπλέον, τα μοντέλα βαθιάς μάθησης, τα οποία χρησιμοποιούνται ευρέως με υψηλή ακρίβεια για τέτοιες διεργασίες, εξαρτώνται από μεγάλα, επισημειωμένα σύνολα δεδομένων τα οποία είναι δύσκολο να βρεθούν σε τύπους καρκίνου με περιορισμένο αριθμό περιστατικών, όπως το MM. Αυτή η εργασία στοχεύει στην αντιμετώπιση αυτών των ζητημάτων και στην υποστήριξη της ποσοτικής αξιολόγησης τρισδιάστατων ολόσωμων εικόνων FDG-PET/CT στη διαχείριση της θεραπείας του μεταστατικού μελανώματος, αναπτύσσοντας ένα ολοκληρωμένο σύστημα υποστήριξης αποφάσεων (decision support system, DSS). Αρχικά, υλοποιείται μια μη επιβλεπόμενη μέθοδος βασισμένη σε αλγόριθμο ομαδοποίησης που συνδυάζει χαρακτηριστικά των εικονοστοιχείων και της γειτνίασής τους και μια διαδικασία ενοποίησης τμητοποιήσεων για την τμηματοποίηση περιοχών υψηλής πρόσληψης από εικόνες FDG-PET/CT. Αξιοποιώντας την έξοδο αυτού του μοντέλου, επιτελέστηκε μια εκτενής ανάλυση χαρακτηριστικών εικόνας (radiomics) η οποία οδήγησε στη διαμόρφωση ενός προσαρμοσμένου αλγορίθμου εξαγωγής χαρακτηριστικών και ενός πλαισίου ταξινόμησης βασισμένου σε βαθιά μάθηση, το οποίο είναι σε θέση να διακρίνει τις πραγματικές καρκινικές βλάβες από την φυσιολογική πρόσληψη εντός των αρχικώς ανιχνευμένων περιοχών. Στη συνέχεια, αναπτύσσεται μία μέθοδος εκμάθησης αναπαραστάσεων (representation learning) βασισμένη στην βαθιά μάθηση για την περαιτέρω βελτίωση της εξαγωγής χαρακτηριστικών και την εκμάθηση διανυσματικών αναπαραστάσεων (embeddings) των περιοχών αυτών με δυνατότητα διαχωρισμού των δεδομένων. Συγκεκριμένα, προτείνεται ένα νέο σχήμα εκμάθησης με ενσωμάτωση της θέσης των περιοχών (position-enhanced learning), το οποίο ενσωματώνει αποτελεσματικά τόσο σημασιολογικά όσο και χωρικά/τοπολογικά χαρακτηριστικά, αποδίδοντας αναπαραστάσεις χρήσιμες για κλινικές εργασίες, όπως η ταξινόμηση. Για το σκοπό αυτό, εισάγεται ένα νέο τρισδιάστατο μπλοκ κωδικοποίησης θέσης (PEB), με επίγνωση θέσης, μέσα στη μέθοδο εκμάθησης αναπαράστασης για την κωδικοποίηση χωρικών πληροφοριών στο διάνυσμα χαρακτηριστικών. Ο συνδυασμός σημασιολογικών πληροφοριών και πληροφοριών θέσης παρέχει βελτιωμένες αναπαραστάσεις όπου τα σημασιολογικά χαρακτηριστικά επηρεάζονται, ενισχύονται ή καταστέλλονται, ανάλογα με την ανατομική θέση, το μέγεθος και την περιστροφή της περιοχής που μελετάται. Επεκτείνοτας τη χρήση τους, οι προαναφερθέντες αλγόριθμοι ενσωματώνονται σε ένα ενοποιήμενο σύστημα για την αξιολόγηση μιας ημιαυτόματης ποσοτικής προσέγγισης για την πρόβλεψη της συνολικής επιβίωσης. Οι μάσκες τμηματοποίησης που δημιουργούνται αρχικά από το προτεινόμενο σύστημα και στη συνέχεια βελτιώνονται μέσω ημιαυτόματων διορθώσεων χρησιμοποιούνται για τον υπολογισμό του συνολικού μεταβολικού όγκου του όγκου (total metabolic tumor volume, TMTV) και της συνολικής γλυκόλυσης της βλάβης (total lesion glycolysis, TLG) από σαρώσεις που λαμβάνονται σε τρία χρονικά σημεία ανά ασθενή. Η διαχρονική ανάλυση υποστήριξε την προγνωστική αξία αυτών των μετρήσεων που προέρχονται από την Τεχνητή Νοημοσύνη (ΤΝ), με σημαντικές επιπτώσεις στην παρακολούθηση της θεραπείας και την εξατομικευμένη θεραπεία. Λαμβάνοντας υπόψη την περιορισμένη διαθεσιμότητα δεδομένων σε σύνολα ιατρικής απεικόνισης, όπως αυτά των ασθενών με ΜΜ, και τις πρόσφατες εξελίξεις στην παραγωγική (generative) ΤΝ, αναπτύχθηκε μια μεθοδολογία σύνθεσης ολόσωμων εικόνων FDG-PET βασισμένη σε μοντέλα διάχυσης και ανορθωμένης ροής (diffusion and rectified flow) για την αύξηση των δεδομένων στην τμηματοποίηση όγκων. Αρχικά, εκπαιδεύτηκε ένα μοντέλο Variational Autoencoder (VAE) για τη δημιουργία συμπιεσμένων λανθάνουσων αναπαραστάσεων τρισδιάστατων εικόνων PET και στη συνέχεια, εκπαιδεύτηκε ένα λανθανόν μοντέλο σύνθεσης εικόνων PET καθοδηγούμενο από τις βλάβες για την παραγωγή ρεαλιστικών εικόνων PET για την ενίσχυση της εκπαίδευσης μοντέλων τμηματοποίησης που βασίζονται σε βαθιά μάθηση. Συνολικά, η διατριβή επικεντρώνεται στην ανάπτυξη αλγορίθμων Τεχνητής Νοημοσύνης για την υποστήριξη της κλινικής ροής εργασίας στην απεικόνιση FDG-PET/CT του μεταστατικού μελανώματος με ευρύτερη εφαρμογή στην απεικόνιση στην ογκολογία.