Design and development of bioinformatics tools for the effective and systematic distinction between true (biological) and artificial somatic variants in pathological conditions, focusing on low frequency variants

Abstract

Advances in next-generation sequencing (NGS) technologies have enabled the detection of genomic alterations at unprecedented scale and resolution, leading to the development of numerous computational tools for variant discovery. However, despite continuous methodological improvements, the detection of somatic variants remains challenging. This is particularly true for variants occurring at low allele frequencies, where technical artifacts can substantially affect performance.Over the past decade, a large number of variant calling algorithms have been developed, each employing different computational principles, including statistical models, heuristic filtering approaches and haplotype based local assembly strategies. As a result, different tools often produce discordant outputs when applied to the same dataset. This lack of agreement becomes even more pronounced in tumor-only NGS analyses, where no matched normal sample is available to facilitate artifact filtering. Consequently, selecting an appropriate variant caller remains a crucial task, while systematic benchmarking efforts are often hindered by the limited availability of datasets with well defined ground truth.A major challenge in variant calling evaluation is the lack of knowledge regarding the actual mutational landscape of biological samples. Although initiatives such as Genome in a Bottle, the ICGC-TCGA DREAM Challenge and SEQC2 have significantly contributed to benchmarking efforts, biological datasets inherently contain uncertainties related to incomplete truth sets, biological heterogeneity and experimental variability. These limitations complicate the direct assessment of variant caller performance and controlled comparisons.To address this challenge, this PhD research focused on the development of synth4bench, a synthetic data based benchmarking framework designed to systematically evaluate tumor-only somatic variant callers under fully controlled conditions. Synth4bench was conceived as a technical benchmarking pipeline that enables reproducible investigation of variant caller behaviour across different NGS conditions, while maintaining explicit knowledge of the underlying ground truth.The framework utilizes the NEAT simulator to generate synthetic NGS datasets from a human reference genome. Synthetic datasets were generated within the TP53 gene locus of the GRCh38 reference genome and systematically varied across two key sequencing parameters: sequencing coverage and read length. Coverage values ranged from 300× to 5000×, while read lengths ranged from 50 bp to 300 bp, creating a structured experimental feature space that allowed the investigation of algorithmic responses to different combinations of NGS features.The central methodological contribution of synth4bench concerns the implementation of a controlled dilution strategy for generating variants with different allele frequencies (AF), including low-frequency variants. Multiple independently simulated datasets were merged to create predefined AF distributions, while preserving complete knowledge of variant origin. Variants present at 100% AF within individual datasets were designated as the True Variant set and subsequently diluted through the merging process, enabling systematic benchmarking of low-frequency variant detection. This design provided control over variant AF and allowed direct evaluation of caller sensitivity under challenging detection scenarios.Five widely used tumor-only variant callers were selected for evaluation, namely Mutect2, FreeBayes, LoFreq, VarDict and VarScan2. The framework was designed as a complete end-to-end benchmarking environment, incorporating data generation, preprocessing, variant calling, normalization, harmonization of variant representations and downstream performance assessment. Particular emphasis was placed on reproducibility through the use of well-defined workflows, controlled simulation settings and comprehensive tracking of all experimental parameters.Three independent analyses were performed within the benchmarking framework. The first focused on predefined True Variants, evaluating the ability of callers to recover known variants after dilution. The second examined background variant signal, referred to as “noise”, allowing investigation of caller behaviour in the presence of variants not belonging to the predefined truth set. The third analysis focused on insertions and deletions (indels), which represent one of the most challenging types of genomic lesions for variant detection algorithms.To improve the assessment of indel performance, an additional harmonization and categorization strategy was developed. Beyond standard indel normalization procedures, mismatches between caller output and ground truth were further classified according to positional discrepancies, reference allele mismatches and alternate allele mismatches. This additional level of granularity enabled a more detailed characterization of indel specific errors and provided insights into the underlying causes of caller disagreement.A total of 29 synthetic datasets were generated and analyzed. The benchmarking process revealed substantial differences among the evaluated caller outputs. Variant caller behaviour was found to vary significantly across the examined NGS parameter space, highlighting the importance of benchmarking under controlled conditions before applying these tools in real world studies.Among the evaluated callers, VarScan2 demonstrated the highest sensitivity for recovering predefined True Variants, consistently yielding the largest number of true positive calls. However, this increased sensitivity was accompanied by a small tendency toward AF underestimation. LoFreq exhibited the most stable AF estimates and maintained high precision across multiple analyses, making it particularly suitable when accurate quantification of variant AF is required. VarDict achieved a favorable balance between sensitivity and indel detection performance, whereas FreeBayes generally adopted a more conservative calling strategy, resulting in lower false positive rates along with substantially reduced sensitivity. Mutect2 showed increased robustness to NGS quality variation, yet exhibited lower overall sensitivity within the evaluated tumor-only setting.Our study also highlighted a persistent difficulty in indel detection. Across all evaluated callers, indels exhibited substantially lower recall compared to single nucleotide variants (SNVs). False negative indels dominated the results, with positional discordance emerging as one of the principal causes of disagreement between caller outputs and the ground truth. Our findings reinforce previous observations that indel detection remains an open challenge in variant calling and requires further methodological development.Overall, our results demonstrate that no single variant caller consistently outperformed all others across every analytical objective. Instead, caller selection should be guided by the specific goals of a study, such as maximizing sensitivity, minimizing false positives, improving AF estimation, or enhancing indel detection. The benchmarking framework therefore not only enables systematic comparison of existing methods, but also provides practical guidance for selecting appropriate tools under different NGS strategies.Altogether, the primary contribution of this PhD research is the development of a reproducible and extensible framework for controlled benchmarking of tumor-only somatic variant callers. Synth4bench provides a transparent methodology for generating synthetic datasets with known ground truth, evaluating caller performance under predefined NGS conditions and dissecting algorithmic behaviour. By enabling systematic assessment of variant detection performance, the framework contributes toward improving benchmarking practices within the field of genomics and offers a foundation for future studies involving additional genomic regions, whole genome analyses, new variant callers and machine learning-based variant interpretation approaches.Future work will focus on extending the framework beyond the current locus-limited implementation, incorporating additional NGS characteristics and quality profiles, while also investigating the relationship between synthetic benchmarking datasets and biological benchmark resources. Such developments will strengthen the role of synthetic data as a complementary approach for methodological evaluation and support the continued advancement of reliable genomic analysis pipelines.

Οι εξελίξεις στις τεχνολογίες αλληλούχισης επόμενης γενιάς (Next-Generation Sequencing - NGS) έχουν καταστήσει δυνατή την ανίχνευση γονιδιωματικών αλλοιώσεων σε πρωτοφανή κλίμακα και ανάλυση, οδηγώντας στην ανάπτυξη πολυάριθμων υπολογιστικών εργαλείων για τον εντοπισμό παραλλαγών (variants).Ωστόσο, παρά τις συνεχείς μεθοδολογικές βελτιώσεις, η ανίχνευση σωματικών παραλλαγών εξακολουθεί να αποτελεί ένα ιδιαίτερα απαιτητικό πρόβλημα. Η δυσκολία είναι ακόμη μεγαλύτερη όταν οι παραλλαγές εμφανίζονται σε χαμηλή συχνότητα αλληλομόρφου (Allele Frequency - AF), όπου τα τεχνικά ευρήματα (artifacts) μπορούν να επηρεάσουν σημαντικά την απόδοση.Την τελευταία δεκαετία, έχει αναπτυχθεί μεγάλος αριθμός αλγορίθμων για τον εντοπισμό παραλλαγών, καθένας από τους οποίους χρησιμοποιεί διαφορετικές υπολογιστικές αρχές, όπως στατιστικά μοντέλα, ευρετικές προσεγγίσεις φιλτραρίσματος και στρατηγικές τοπικής συναρμολόγησης (local assembly) που βασίζονται σε απλότυπους (haplotypes). Ως αποτέλεσμα, διαφορετικά εργαλεία συχνά παράγουν αντικρουόμενα αποτελέσματα όταν εφαρμόζονται στο ίδιο σύνολο δεδομένων. Αυτή η έλλειψη συμφωνίας γίνεται ακόμη πιο έντονη σε αναλύσεις NGS που αφορούν αποκλειστικά όγκους (tumor-only analyses), όπου δεν υπάρχει διαθέσιμο αντίστοιχο δείγμα υγιούς ιστού για τη διευκόλυνση του φιλτραρίσματος των τεχνικών ευρημάτων. Κατά συνέπεια, η επιλογή του κατάλληλου εργαλείου εντοπισμού παραλλαγών παραμένει μια κρίσιμη διαδικασία, ενώ οι συστηματικές προσπάθειες αξιολόγησης (benchmarking) συχνά παρεμποδίζονται από την περιορισμένη διαθεσιμότητα συνόλων δεδομένων με σαφώς καθορισμένη «πραγματική αλήθεια» (ground truth).Μια σημαντική πρόκληση στην αξιολόγηση των εργαλείων εντοπισμού παραλλαγών είναι η έλλειψη γνώσης σχετικά με το πραγματικό μεταλλαξικό τοπίο των βιολογικών δειγμάτων. Πρωτοβουλίες όπως το Genome in a Bottle (GIAB), το ICGC TCGA DREAM Challenge και το SEQC2 έχουν συμβάλει σημαντικά στη δημιουργία συνόλων αναφοράς και στη βελτίωση των πρακτικών αξιολόγησης. Ωστόσο, τα πραγματικά βιολογικά δείγματα εξακολουθούν να επηρεάζονται από βιολογική ετερογένεια, ατελή λίστα γνωστών παραλλαγών και πειραματική μεταβλητότητας. Επομένως, η πλήρης απομόνωση της επίδρασης μιας συγκεκριμένης παραμέτρου παραμένει δύσκολη. Αυτοί οι περιορισμοί δυσχεραίνουν την άμεση εκτίμηση της απόδοσης των εργαλείων και καθιστούν δύσκολη τη διενέργεια ελεγχόμενων συγκρίσεων.Για την αντιμετώπιση αυτής της πρόκλησης, η παρούσα διδακτορική έρευνα επικεντρώθηκε στην ανάπτυξη του «synth4bench», ενός πλαισίου αξιολόγησης που βασίζεται σε συνθετικά δεδομένα και έχει σχεδιαστεί για τη συστηματική αξιολόγηση εργαλείων εντοπισμού σωματικών παραλλαγών σε δείγματα όγκων, υπό πλήρως ελεγχόμενες συνθήκες. Το «synth4bench» σχεδιάστηκε ως μια τεχνική διαδικασία αξιολόγησης (benchmarking pipeline) που επιτρέπει την αναπαραγώγιμη διερεύνηση της συμπεριφοράς των εργαλείων υπό διαφορετικές συνθήκες αλληλούχησης NGS, διατηρώντας παράλληλα πλήρη γνώση της υποκείμενης «πραγματικής αλήθειας».Το πλαίσιο αξιοποιεί τον προσομοιωτή «NEAT» για τη δημιουργία συνθετικών συνόλων δεδομένων NGS, με βάση ένα ανθρώπινο γονιδίωμα αναφοράς. Τα συνθετικά σύνολα δεδομένων δημιουργήθηκαν εντός Οι τιμές κάλυψης κυμαίνονταν από 300× έως 5000×, ενώ τα μήκη των αναγνώσεων (reads) κυμαίνονταν από 50 bp έως 300 bp, δημιουργώντας έναν δομημένο πειραματικό χώρο χαρακτηριστικών, ο οποίος επέτρεψε τη διερεύνηση των αποκρίσεων των αλγορίθμων σε διαφορετικούς συνδυασμούς παραμέτρων της τεχνολογίας NGS (χαρακτηριστικών αλληλούχησης).Η κεντρική μεθοδολογική συνεισφορά του synth4bench αφορά στην εφαρμογή μιας στρατηγικής ελεγχόμενης αραίωσης για τη δημιουργία παραλλαγών με διαφορετικές συχνότητες αλληλομόρφων (allele frequencies - AF), συμπεριλαμβανομένων των παραλλαγών χαμηλής συχνότητας. Πολλαπλά, ανεξάρτητα προσομοιωμένα σύνολα δεδομένων συγχωνεύθηκαν για τη δημιουργία προκαθορισμένων κατανομών συχνοτήτων αλληλομόρφων, διατηρώντας παράλληλα την πλήρη γνώση της προέλευσης κάθε παραλλαγής. Οι παραλλαγές που εμφανίζονταν με συχνότητα 100% (AF=100%) εντός των επιμέρους συνόλων δεδομένων ορίστηκαν ως το σύνολο των «Πραγματικών Παραλλαγών» (True Variants) και, στη συνέχεια, αραιώθηκαν μέσω της διαδικασίας συγχώνευσης, επιτρέποντας τη συστηματική αξιολόγηση (benchmarking) του εντοπισμού παραλλαγών χαμηλής συχνότητας. Αυτός ο σχεδιασμός παρείχε έλεγχο επί των συχνοτήτων των παραλλαγών και επέτρεψε την άμεση αξιολόγηση της ευαισθησίας των εργαλείων ανίχνευσης (callers) σε απαιτητικά σενάρια εντοπισμού.Για την αξιολόγηση επιλέχθηκαν πέντε ευρέως χρησιμοποιούμενα εργαλεία εντοπισμού παραλλαγών (variant callers) που λειτουργούν αποκλειστικά σε δεδομένα όγκου (tumor-only): τα Mutect2, FreeBayes, LoFreq, VarDict και VarScan2. Το πλαίσιο σχεδιάστηκε ως ένα ολοκληρωμένο περιβάλλον αξιολόγησης, το οποίο καλύπτει όλο το φάσμα της διαδικασίας: από τη δημιουργία δεδομένων, την προεπεξεργασία, την ανίχνευση παραλλαγών, την κανονικοποίηση και την εναρμόνιση των αναπαραστάσεων των παραλλαγών, έως την τελική αξιολόγηση της απόδοσης. Ιδιαίτερη έμφαση δόθηκε στην επαναληψιμότητα, μέσω της χρήσης σαφώς καθορισμένων ροών εργασίας (workflows), ελεγχόμενων παραμέτρων προσομοίωσης και της αναλυτικής καταγραφής όλων των πειραματικών παραμέτρων.Στο πλαίσιο αυτό, πραγματοποιήθηκαν τρεις ανεξάρτητες αναλύσεις. Η πρώτη εστίασε στις προκαθορισμένες «Πραγματικές Παραλλαγές», αξιολογώντας την ικανότητα των εργαλείων να εντοπίζουν γνωστές παραλλαγές μετά την αραίωσή τους. Η δεύτερη εξέτασε το σήμα παραλλαγών υποβάθρου, το λεγόμενο «θόρυβο» (noise), επιτρέποντας τη διερεύνηση της συμπεριφοράς των εργαλείων παρουσία παραλλαγών που δεν περιλαμβάνονταν στο προκαθορισμένο σύνολο αναφοράς. Η τρίτη ανάλυση εστίασε σε εισαγωγές και διαγραφές (insertions and deletions - indels), οι οποίες αποτελούν έναν από τους πιο δύσκολους τύπους γονιδιωματικών αλλοιώσεων για τους αλγορίθμους ανίχνευσης παραλλαγών.Για τη βελτίωση της αξιολόγησης της απόδοσης όσον αφορά τα indels, αναπτύχθηκε μια επιπλέον στρατηγική εναρμόνισης και κατηγοριοποίησης. Πέρα από τις τυπικές διαδικασίες κανονικοποίησης των indels, οι αποκλίσεις μεταξύ των αποτελεσμάτων των εργαλείων και των πραγματικών δεδομένων (ground truth) ταξινομήθηκαν περαιτέρω με βάση τις διαφορές στη θέση, τις διαφορές στο αλληλόμορφο αναφοράς και τις διαφορές στο εναλλακτικό αλληλόμορφο. Αυτό το επιπλέον επίπεδο ανάλυσης επέτρεψε το λεπτομερή χαρακτηρισμό των σφαλμάτων που σχετίζονται με τα indels και προσέφερε πληροφορίες σχετικά με τα αίτια των διαφορών. Συνολικά, παράχθηκαν και αναλύθηκαν 29 σειρές δεδομένων. Η διαδικασία της αξιολόγησης ανέδειξε σημαντικές διαφορές ανάμεσα στα εργαλεία ανίχνευσης παραλλαγών. Συγκεκριμένα, διαπιστώθηκε ότι η συμπεριφορά των εργαλείων εντοπισμού παραλλαγών παρουσιάζει σημαντική διακύμανση στο εξεταζόμενο εύρος παραμέτρων NGS, γεγονός που αναδεικνύει τη σημασία της αξιολόγησης (benchmarking) υπό ελεγχόμενες συνθήκες, προτού τα εργαλεία αυτά χρησιμοποιηθούν σε μελέτες πραγματικών συνθηκών.Μεταξύ των εργαλείων εντοπισμού παραλλαγών που αξιολογήθηκαν, το VarScan2 επέδειξε την υψηλότερη ευαισθησία στον εντοπισμό προκαθορισμένων πραγματικών παραλλαγών (True Variants), αποδίδοντας σταθερά τον μεγαλύτερο αριθμό αληθώς θετικών αποτελεσμάτων. Ωστόσο, αυτή η αυξημένη ευαισθησία συνοδευόταν από μια μικρή τάση υποεκτίμησης της συχνότητας αλληλομόρφων. Το LoFreq παρουσίασε τις πιο σταθερές εκτιμήσεις συχνότητας αλληλομόρφων και διατήρησε υψηλή ακρίβεια σε πολλαπλές αναλύσεις, καθιστώντας το ιδιαίτερα κατάλληλο για περιπτώσεις όπου απαιτείται ακριβής ποσοτικοποίηση της συχνότητας των παραλλαγών. Το VarDict πέτυχε μια ικανοποιητική ισορροπία μεταξύ ευαισθησίας και απόδοσης στον εντοπισμό μικρών εισαγωγών/διαγραφών (indels), ενώ το FreeBayes ακολούθησε γενικά μια πιο συντηρητική στρατηγική, οδηγώντας σε χαμηλότερα ποσοστά ψευδώς θετικών αποτελεσμάτων, αλλά και σε σημαντικά μειωμένη ευαισθησία. Το Mutect2 έδειξε αυξημένη ανθεκτικότητα στις διακυμάνσεις της ποιότητας της αλληλούχησης NGS, ωστόσο παρουσίασε χαμηλότερη συνολική ευαισθησία στο πλαίσιο της αξιολόγησης που αφορούν αποκλειστικά δείγματα όγκου (tumor-only setting).Η μελέτη μας ανέδειξε επίσης μια σταθερή δυσκολία στον εντοπισμό indels. Σε όλα τα εργαλεία που αξιολογήθηκαν, τα indels εμφάνισαν σημαντικά χαμηλότερο ποσοστό ανάκτησης (recall) σε σύγκριση με τις παραλλαγές μεμονωμένων νουκλεοτιδίων (SNVs). Τα ψευδώς αρνητικά indels κυριάρχησαν στα αποτελέσματα, με τη χωρική ασυμφωνία (positional discordance) να αναδεικνύεται ως μία από τις κύριες αιτίες απόκλισης μεταξύ των αποτελεσμάτων των εργαλείων και της πραγματικής κατάστασης (ground truth). Τα ευρήματά μας ενισχύουν προηγούμενες παρατηρήσεις ότι ο εντοπισμός indels παραμένει μια ανοιχτή πρόκληση στον τομέα του εντοπισμού παραλλαγών και απαιτεί περαιτέρω μεθοδολογική ανάπτυξη.Συνολικά, τα αποτελέσματά μας καταδεικνύουν ότι κανένα μεμονωμένο εργαλείο δεν υπερέχει σταθερά έναντι όλων των άλλων σε κάθε αναλυτικό στόχο. Αντιθέτως, η επιλογή του κατάλληλου εργαλείου θα πρέπει να καθορίζεται από τους συγκεκριμένους στόχους της εκάστοτε μελέτης, όπως η μεγιστοποίηση της ευαισθησίας, η ελαχιστοποίηση των ψευδώς θετικών αποτελεσμάτων, η βελτίωση της εκτίμησης της συχνότητας αλληλομόρφων ή η ενίσχυση του εντοπισμού indels. Συνεπώς, το πλαίσιο συγκριτικής αξιολόγησης (benchmarking framework) όχι μόνο επιτρέπει τη συστηματική σύγκριση των υπαρχουσών μεθόδων, αλλά παρέχει επίσης πρακτική καθοδήγηση για την επιλογή των κατάλληλων εργαλείων σε διαφορετικά σενάρια αλληλούχησης NGS.Συνοψίζοντας, η κύρια συνεισφορά αυτής της διδακτορικής έρευνας είναι η ανάπτυξη ενός αναπαραγώγιμου και επεκτάσιμου πλαισίου για τον ελεγχόμενο συγκριτικό έλεγχο εργαλείων εντοπισμού σωματικών παραλλαγών σε δείγματα όγκου. Το Synth4bench παρέχει μια διαφανή μεθοδολογία για τη δημιουργία συνθετικών συνόλων δεδομένων με γνωστή πραγματική κατάσταση (ground truth), επιτρέποντας την αξιολόγηση της απόδοσης των εργαλείων υπό προκαθορισμένες συνθήκες. Τα επόμενα βήματα θα επικεντρωθούν στην επέκταση του πλαισίου πέρα ​​από την τρέχουσα υλοποίηση, η οποία περιορίζεται σε συγκεκριμένους γενετικούς τόπους (genetic loci), ενσωματώνοντας επιπλέον χαρακτηριστικά αλληλούχησης NGS και προφίλ ποιότητας, ενώ παράλληλα θα διερευνηθεί περαιτέρω η σχέση μεταξύ συνθετικών συνόλων δεδομένων αξιολόγησης (benchmarking) και βιολογικών πόρων αναφοράς. Τέτοιες εξελίξεις θα ενισχύσουν το ρόλο των συνθετικών δεδομένων ως συμπληρωματική προσέγγιση για τη μεθοδολογική αξιολόγηση και θα υποστηρίξουν τη συνεχή πρόοδο αξιόπιστων ροών εργασίας (pipelines) γονιδιωματικής ανάλυσης.