Machine learning methods in bioequivalence and clinical studies

Abstract

Introduction This dissertation aimed to utilize machine learning and neural networks, the forefront models in deep learning, to enhance the processes and outcomes of clinical trials as well as bioequivalence studies. The goal was to use these advanced computational techniques to gain deeper insights and improve the accuracy and efficiency of the analyses in these important areas of medical research. To achieve that, the first two research papers focused on an analysis of the kinetics of neutralizing antibodies (NAbs) against SARS-CoV-2 using a kinetic model and identifying their predictive factors by utilizing four machine learning algorithms. In the subsequent three research papers, a novel data augmentation framework was developed, which utilizes generative neural networks and Monte Carlo simulations. The framework was applied in the context of clinical trials bioequivalence testing of low, mid and highly variable drugs. The framework aims to reduce the required sample size for this type of studies which brings numerous breakthrough benefits. Methods To investigate the kinetics of NAbs, a kinetic model was used to describe their elimination. The optimal model included a single compartment (the whole body) and linear elimination kinetics. To identify the individuals’ characteristics that could predict the NAbs levels, four machine learning techniques were applied. Namely principal component analysis and factor analysis of mixed data, K-means clustering and random forest. The first two methods revealed the interactions between different features and how these affect the Nabs levels whereas the last two allowed us to group the individuals into distinct groups and quantify the predictive factors of NAbs respectively. Concerning the use of generative algorithms in clinical research, a framework was developed that combined Monte Carlo simulations with a generative neural network, namely variational autoencoders. The Monte Carlo simulations were utilized to replicate the exact conditions of the clinical trial and the BE study, whereas the VAE was applied to a subsample of the original dataset, to generate new, synthetic data, based on the real ones. Various scenarios were tested and different hyperparameters of the VAE model were explored to achieve the optimal model. Results The kinetic model identified three distinct kinetic phases on the time elapsed since vaccination and that the NAbs disappear relatively slow at first, but that their removal becomes around six times greater from the third to the sixth month, indicating that they are eliminated much more quickly. K-means identified five unique groups of individuals, each one driven by unique characteristics, whereas using two principal components, were able to explain 63.4% of the variability and identify the positive relation between the NAbs levels at 3 months (M3) and 9 months (M9) after vaccination. This was validated by the random forest, which indicated that the NAbs levels after 3 months is the most important feature when predicting the NAbs levels after 9 months. To reduce the required sample size in clinical studies, an innovative methodology was used and by utilizing various forms of VAEs, we were able to create virtual samples very similar to the real ones. These synthetic data performed at least as well as the real data, even when only 30-40% of the real data was used. It is worth noting that in scenarios with high variability, the data generated by the VAE showed higher statistical power, effectively reducing “noise”, and improving the reliability and robustness of the results. The findings in bioequivalence studies were very desired as well. By applying the same methodology, investigating different parameters for VAEs, and testing multiple scenarios, including different levels of variability, original sample sizes, sample sizes generated by the VAE, and average performance differences between the pharmaceutical products being compared, it was demonstrated that using generative algorithms, and more specifically VAEs, we can achieve the same and in many cases better results, with a significantly smaller sample than the original, thus significantly reducing the cost and time required to complete the studies. Particularly in the case of high variability drugs, the synthetic data performed similarly to the real data, using a smaller sample, even without scaling the confidence interval limits. Discussion Overall, the modeling of NAb kinetics showed that there are three distinct kinetic phases based on the time since vaccination. Initially, NAbs decline relatively slowly, but their clearance rate increases approximately sixfold from the third to the sixth month. Principal components analysis showed the strong relationship between M3 and M9 and factor analysis of mixed data revealed that obesity and age have a negative effect to the NAbs levels whereas gender did not have any effect in any of the five distinct groups that were identified by K-means. Random forest indicates that the NAbs levels at different time periods after the vaccination, are more important than age, gender and BMI, when predicting the NAbs levels after 9 months of the vaccination. The optimized VAEs demonstrated superior performance than the subsampled and similar and many times better than the original datasets, indicating that similar BE testing results, can be achieved by using less samples. The introduction of generative neural networks in clinical studies to reduce sample sizes, combined with Monte Carlo simulations and VAE, demonstrated that VAEs can serve as a valuable tool in clinical trials and bioequivalence studies. Using VAEs, statistical power can be increased while the required size of a clinical study can be reduced by up to 30%, thereby lowering the necessary sample size, reducing costs and time, and addressing ethical issues related to human participation. Conclusions Overall, this dissertation demonstrated that machine learning enables the identification of complex patterns and trends that are difficult to detect by other means in clinical studies. Using machine learning methods, interactions were identified between an individual's characteristics and NAb levels nine months after vaccination, and their impact was quantified. Most notably, this dissertation proposes, for the first time, the use of VAEs to augment data in clinical and bioequivalence studies and to reduce the required sample size. It showed that applying VAEs in clinical and bioequivalence studies represents a modern and useful tool that can significantly reduce the need for large sample sizes, lower costs, and shorten the completion times of clinical trials, while maintaining or even enhancing the quality and reliability of results.

Εισαγωγή Ο στόχος αυτής της διατριβής ήταν να εισαγάγει την ιδέα της εφαρμογής μεθόδων μηχανικής εκμάθησης και νευρωνικών δικτύων, των πιο προηγμένων μοντέλων τεχνητής νοημοσύνης για τη βελτίωση των διαδικασιών και των αποτελεσμάτων των κλινικών δοκιμών καθώς και των μελετών βιοϊσοδυναμίας. Ο σκοπός ήταν να χρησιμοποιηθούν αυτές οι υπολογιστικές τεχνικές για να να βελτιωθεί η ακρίβεια και η ισχύς των αναλύσεων σε αυτούς τους σημαντικούς τομείς της ιατρικής έρευνας. Η διατριβή αυτή ξεκίνησε την περίοδο της πανδημίας του κορονοϊού και στα πλαίσια αυτά οι πρώτες δύο ερευνητικές εργασίες αφορούσαν τη διερεύνηση της κινητικής των εξουδετερωτικών αντισωμάτων (Nabs) χρησιμοποιώντας ένα κινητικό μοντέλο, και στη διερεύνηση των ατομικών χαρακτηριστικών που θα μπορούσαν να προβλέψουν τα επίπεδα των NAbs εφαρμόζοντας τέσσερις μεθόδους μηχανικής εκμάθησης. Στις επόμενες τρεις ερευνητικές εργασίες αναπτύχθηκε μία μέθοδος αύξησης δεδομένων που συνδύαζε παραγωγικά νευρωνικά δίκτυα και προσομοιώσεις Monte Carlo. Η μεθοδολογία αυτή εφαρμόστηκε στο πλαίσιο κλινικών μελετών και μελετών βιοϊσοδυναμίας για φάρμακα χαμηλής, μεσαίας και υψηλής μεταβλητότητας. Μέθοδοι Αναφορικά με τη μελέτη της κινητικής των Nabs, αναπτύχθηκε ένα μοντέλο που περιλάμβανε ένα διαμέρισμα (ολόκληρο το σώμα) για να περιγράψει τα επίπεδα των αντισωμάτων μετά τον εμβολιασμό, ενώ παράλληλα εφαρμόστηκαν τέσσερις τεχνικές μηχανικής μάθησης. Συγκεκριμένα, ανάλυση κύριων συνιστωσών και ανάλυση παραγόντων μικτών επιδράσεων για τις αλληλεπιδράσεις μεταξύ των διαφορετικών χαρακτηριστικών και πώς αυτά επηρεάζουν τα επίπεδα των NAbs, και K-means και random forest (τυχαίο δάσος) για να ομαδοποιηθούν τα άτομα σε διακριτές ομάδες και να ποσοτικοποιηθεί η επίδρασή τους. Όσον αφορά την εισαγωγή της ιδέας εφαρμογής παραγωγικών νευρωνικών δικτύων για την αναγέννηση εικονικών εθελοντών και τη μείωση του απαιτούμενου μεγέθους δείγματος στις κλινικές μελέτες και τις μελέτες βιοϊσοδυναμίας, αναπτύχθηκε μια μεθοδολογία που συνδύαζε προσομοιώσεις Monte Carlo και variational autoencoders (VAEs). Οι προσομοιώσεις Monte Carlo χρησιμοποιήθηκαν για να μιμηθούν τις ακριβείς συνθήκες της κλινικής μελέτης ενώ το VAE εφαρμόστηκε σε ένα υποσύνολο του αρχικού δείγματος, για να δημιουργήσει νέα, συνθετικά δεδομένα, βασισμένα στα πραγματικά δεδομένα, σε μία σειρά από σενάρια και διαφορετικές συνθήκες. ΑποτελέσματαΣτην περίπτωση της μελέτης της κινητικής των εξουδετερωτικών αντισωμάτων, το αναπτυχθέν μοντέλο αποκάλυψε ότι υπάρχουν τρεις διακριτές κινητικές φάσεις για τον χρόνο που έχει περάσει από τον εμβολιασμό και ότι τα NΑbs εξαφανίζονται σχετικά αργά στην αρχή, αλλά η απομάκρυνσή τους γίνεται περίπου 6 φορές ταχύτερα από τον τρίτο έως τον έκτο μήνα. Εντοπίστηκαν πέντε ομάδες ατόμων με διακριτά χαρακτηριστικά ενώ χρησιμοποιώντας δύο κύριες συνιστώσες, εξηγήθηκε το 63.4% της μεταβλητότητας και εντοπίστηκε η θετική συσχέτιση μεταξύ των επιπέδων των NAbs στους 3 μήνες (M3) και στους 9 μήνες (M9) μετά τον εμβολιασμό, το οποίο επαληθεύεται από το random forest καθώς το Μ3 φαίνεται να είναι ο πιο σημαντικός παράγοντας στην πρόβλεψη του επιπέδου των NΑbs 9 μήνες μετά τον εμβολιασμό. Όσον αφορά την εφαρμογή παραγωγικών νευρωνικών δικτύων στις κλινικές μελέτες με σκοπό τη μείωση του απαιτούμενου μεγέθους δείγματος, αναπτύσσοντας μία πρωτότυπη μεθοδολογία και εξετάζοντας διάφορες μορφές του παραγωγικού νευρωνικού δικτύου, VAE, δημιουργήθηκαν δείγματα με εικονικούς εθελοντές παρόμοια με τα πραγματικά. Τα συνθετικά αυτά δεδομένα απέδωσαν εξίσου καλά, αν όχι καλύτερα, με τα πραγματικά δεδομένα ακόμη και στην περίπτωση που χρησιμοποιήθηκε μόνο το 30-40% των πραγματικών δεδομένων. Αξίζει να σημειωθεί ότι σε σενάρια με υψηλή μεταβλητότητα, τα δεδομένα που δημιουργήθηκαν από το VAE παρουσίασαν υψηλότερη στατιστική ισχύ, μειώνοντας αποτελεσματικά τον “θόρυβο”, ενισχύοντας την αξιοπιστία των αποτελεσμάτων. Εξίσου καλά ήταν τα ευρήματα και στις μελέτες βιοϊσοδυναμίας. Εφαρμόζοντας την ίδια μεθοδολογία, και διερευνώντας διαφορετικές παραμέτρους για τα VAEs και εξετάζοντας πολλαπλά σενάρια, συμπεριλαμβανομένων διαφορετικών επιπέδων μεταβλητότητας, αρχικών μεγεθών δείγματος, μεγεθών δείγματος που δημιουργήθηκαν από VAE και διαφορών απόδοσης μεταξύ των φαρμακευτικών προϊόντων που συγκρίνονται, αποδείχθηκε ότι χρησιμοποιώντας παραγωγικούς αλγορίθμους, και πιο συγκεκριμένα VAEs, κατέστη δυνατό να επιτευχθούν τα ίδια και σε πολλές περιπτώσεις καλύτερα αποτελέσματα, με αρκετά μικρότερο δείγμα από το αρχικό, μειώνοντας έτσι σημαντικά το κόστος και τον χρόνο που απαιτείται για την ολοκλήρωση των μελετών. Ειδικότερα στην περίπτωση των φαρμάκων με υψηλή μεταβλητότητα, τα συνθετικά δεδομένα, είχαν τουλάχιστον παρόμοια με τα πραγματικά, χρησιμοποιώντας μικρότερο δείγμα, ακόμη και όταν η σύγκριση γινόταν με τα κλιμακούμενα όρια βιοϊσοδυναμίας που προτείνονται σήμερα. Δηλαδή, η χρήση παραγωγικών νευρωνικών δικτύων δεν έχει ανάγκη την χρήση κλιμακούμενων ορίων ή ειδικών κριτηρίων και έχει καθολική εφαρμογή. Συζήτηση Συνολικά, η μοντελοποίηση της κινητικής των NAbs έδειξε ότι υπάρχουν τρεις διακριτές κινητικές φάσεις για τον χρόνο που έχει περάσει από τον εμβολιασμό και ότι τα NΑbs εξαφανίζονται σχετικά αργά στην αρχή, αλλά η απομάκρυνσή τους γίνεται περίπου 6 φορές ταχύτερα από τον τρίτο έως τον έκτο μήνα. Η ανάλυση κύριων συνιστωσών έδειξε τη στενή σχέση μεταξύ M3 και M9 και η ανάλυση μικτών δεδομένων αποκάλυψε ότι η παχυσαρκία και η ηλικία έχουν αρνητική επίδραση στα επίπεδα των NAbs, ενώ το φύλο δεν είχε καμία επίδραση σε καμία από τις πέντε διακριτές ομάδες που εντοπίστηκαν από την K-means. Τα επίπεδα των NAbs σε διαφορετικές χρονικές περιόδους μετά τον εμβολιασμό είναι πιο σημαντικά από την ηλικία, το φύλο και τον δείκτη μάζας σώματος, για τα επίπεδα των NAbs μετά από 9 μήνες από τον εμβολιασμό, σύμφωνα με το random forest. Η εισαγωγή της χρήσης παραγωγικών νευρωνικών δικτύων στις κλινικές μελέτες με σκοπό τη μείωση του μεγέθους δείγματος και συνδυάζοντας προσομοιώσεις Monte Carlo με VAE, αποδείχθηκε ότι τα VAE μπορούν να αποτελέσουν ένα πολύτιμο εργαλείο στις κλινικές δοκιμές και στις μελέτες βιοϊσοδυναμίας. Χρησιμοποιώντας τα VAE, η στατιστική ισχύ μπορεί να αυξηθεί ενώ το απαιτούμενο μέγεθος μιας κλινικής μελέτης, μπορεί να μειωθεί έως και 30%, μειώνοντας έτσι το απαιτούμενο μέγεθος δείγματος και συνεπώς μειώνοντας το κόστος και τον χρόνο, ενώ παράλληλα αντιμετωπίζουν ηθικά ζητήματα που σχετίζονται με τη συμμετοχή ανθρώπων. Συμπεράσματα Συνολικά, αυτή η διατριβή έδειξε ότι η μηχανική μάθηση επιτρέπει την αναγνώριση σύνθετων μοτίβων και τάσεων που είναι δύσκολο να ανιχνευθούν με άλλους τρόπους, στον τομέα των κλινικών μελετών. Χρησιμοποιώντας μεθόδους μηχανικής εκμάθησης εντοπίστηκαν αλληλεπιδράσεις μεταξύ των χαρακτηριστικών ενός ατόμου και των επιπέδων των NAbs μετά από 9 μήνες από τον εμβολιασμό και ποσοτικοποιήθηκε η επίδρασή τους.Το πιο αξιοσημείωτο είναι ότι αυτή η διατριβή προτείνει για πρώτη φορά τη χρήση των VAEs με σκοπό την αύξηση των δεδομένων σε κλινικές και μελέτες βιοϊσοδυναμίας και τη μείωση του απαιτούμενου μεγέθους δείγματος. Έδειξε ότι η εφαρμογή των VAEs σε κλινικές και μελέτες βιοϊσοδυναμίας αντιπροσωπεύει ένα σύγχρονο και χρήσιμο εργαλείο που μπορεί να μειώσει σημαντικά την ανάγκη για μεγάλο αριθμό ανθρώπων, να μειώσει το κόστος και να συντομεύσει τους χρόνους ολοκλήρωσης των κλινικών δοκιμών, διατηρώντας ή ακόμα και βελτιώνοντας την ποιότητα και την αξιοπιστία των αποτελεσμάτων.