Development of novel methods in population pharmacokinetics using machine learning and fractional differential equations

Abstract

Introduction The purpose of this dissertation is to study novel methods regarding modeling in the field of pharmacometrics and more specifically population pharmacokinetics(popPK). Modeling is a key part of pharmacokinetics and especially in describing the four key processes that occur after a drug enters a subject’s body (absorption, distribution, metabolism and excretion), personalized treatment, study design, bioequivalence and more. In order to maximize the utilization of modeling, the use of tools from other fields such as statistics, machine learning, mathematical biology etc. is required. These tools assist in drastically expanding the class of problems modeling can solve in the field of popPK. In the work presented in this thesis, the focus was on employing machine learning and fractional calculus in this discipline. The first part (Chapter 1 and Chapter 2) are focused in applying machine learning methodology in classic NLME modeling as a post-step process tackling the issue of model misspecification. The second part is a study of numerical methods for fractional differential equations and an implementation of such methods to the widely used NONMEM software that performs non-linear mixed effects modeling in the context of pharmacometrics. Chapter 1We address the problem of model misspecification in population pharmacokinetics(PopPK), by modeling residual unexplained variability (RUV) by machine learn-ing (ML) methods in a post-processing step after conventional model building. The practical purpose of the method is the generation of realistic virtual patient profiles. The proposed methodology consists of the following steps: After developing a PopPK model, the individual residual errors IRES = DV-IPRED, are computed, where DV are the observations and IPRED the individual predictions and are modeled by ML to obtain IRESML. Correction of the IPREDs can then be carried out as DVML = IPRED + IRESML. The methodology was tested in a6PK study of ropinirole, for which a PopPK model was developed while a second deliberately misspecified model was also considered. Various supervised ML algorithms were tested, among which Random Forest gave the best results. The ML model was able to correct individual predictions as inspected in diagnostic plots and most importantly it simulated realistic profiles that resembled the real data and canceled out the artifacts introduced by the elevated RUV, even in the case of the heavily misspecified model. Chapter 2Expanding on the concepts introduced in the previous chapter, we introduce a metric with the purpose of quantifying the amount of model misspecification after an initial popPK modeling step. The methodology aims to provide a numerical component in the modeler’s toolkit that informs on how well the model structure is able to describe the data that is also appropriately scaled (0 to 1) which helps interpret the results and make model comparison easier. The proposed metrics use the ML modeled residuals presented in the previous chapter, IRESML to calculate how well the ML model fitted the initial IREStot. The rationale is simple: a good fit and high metric, means that the ML model has found signal in the residuals which indicates a biased model and high misspecification. A poor and small met-ric indicate that ML has failed to fit the residuals and the initial popPK model is unbiased. The metrics -indicated R2ML and RR- were based on the classic R2and proportion of the fitted residual to the total. First, the metrics were tested on virtual case studies where a 2CMT model was used to generate synthetic data which were then fit using a deliberately misspecified 1CMT and the correct 2CMTmodel. Metrics were calculated using IRES and IWRES to check the effect the type of residual had on the final result. After validating on controlled scenarios, the metrics were then tested on several real case studies. Previously developed models were tested in this case to avoid bias. The real scenarios involved datafrom busulfan, myofetil, octreotide and the ropinirole data used in the previous chapter. Metric values were compared with typical goodness-of-fit measures and7visuals in order to validate their performance. In the extreme case studies of the synthetic data (high and minimal misspecification), they performed as expected taking high and low values respectively. For the real case studies values were also in agreement with the visual means of model assessment and the conclusions drawn from the initial modelers. Chapter 3 Fractional differential equations (FDEs), i.e. differential equations with derivatives of non-integer order, can describe certain experimental datasets more accurately than classic models and have found application in pharmacokinetics (PKs),but wider applicability has been hindered by the lack of appropriate software. In the present work an extension of NONMEM software is introduced, as a FOR-TRAN subroutine, that allows the definition of nonlinear mixed effects (NLME)models with FDEs. The new subroutine can handle arbitrary user defined linear and nonlinear models with multiple equations, and multiple doses and can be integrated in NONMEM workflows seamlessly, working well with third party packages. The performance of the subroutine in parameter estimation exercises, with simple linear and nonlinear (Michaelis-Menten) fractional PK models has been evaluated by simulations and an application to a real clinical dataset of diazepam is presented. In the simulation study, model parameters were estimated for each of 100 simulated datasets for the two models. The relative mean bias(RMB) and relative root mean square error (RRMSE) were calculated in order to assess the bias and precision of the methodology. In all cases both RMB and RRMSE were below 20% showing high accuracy and precision for the estimates. For the diazepam application the fractional model that best described the drug kinetics was a one-compartment linear model which had similar performance, ac-cording to diagnostic plots and Visual Predictive Check, to a three-compartment classic model, but including four less parameters than the latter. This is a first attempt to use FDE systems in an NLME framework, so the approach could be of interest to other disciplines apart from PKs.

Ο σκοπός αυτής της διατριβής είναι η μελέτη νέων μεθόδων σχετικά με τη μοντε-λοποίηση στον τομέα της φαρμακομετρίας και πιο συγκεκριμένα της πληθυσμιακής φαρμακοκινητικής. Η μοντελοποίηση αποτελεί βασικό μέρος της φαρμακοκινητικής, ιδιαίτερα στην περιγραφή των τεσσάρων βασικών διαδικασιών που συμβαίνουν αφότου ένα φάρμακο εισέλθει στο σώμα (απορρόφηση, κατανομή, μεταβολισμός και απέκκριση), την εξατομικευμένη θεραπεία, τον σχεδιασμό μελετών, τη βιοϊσοδυναμία και άλλα. Για τη μέγιστη αξιοποίηση της μοντελοποίησης, απαιτείται η χρήση εργαλείων από άλλους τομείς, όπως η στατιστική, η μηχανική μάθηση, η μαθηματική βιολογία κ.λπ. Αυτά τα εργαλεία συμβάλλουν σημαντικά στην επέκταση της κατηγορίας προβλημάτων που μπορεί να λύσει η μοντελοποίηση στον τομέα της πληθυσμιακής φαρμακοκινητικής. Στην δουλειά που παρουσιάζεται σε αυτή την διατριβή, δόθηκε έμφαση στη χρήση της μηχανικής μάθησης και του κλασματικού λογισμού στον συγκεκριμένο τομέα. Το πρώτο μέρος (Κεφάλαιο 1 και Κεφάλαιο 2) επικεντρώνεται στην εφαρμογή της μεθοδολογίας μηχανικής μάθησης στην κλασική μοντελοποίηση μή-γραμμικών μοντέλων μικτών επιδράσεων ως διαδικασία διόρθωσης μετά τη δημιουργία του αρχικού μοντέλου, αντιμετωπίζοντας το πρόβλημα της λανθασμένης προδιαγραφής του μοντέλου. Το δεύτερο μέρος αποτελεί μια μελέτη αριθμητικών μεθόδων για κλασματικές διαφορικές εξισώσεις και μια υλοποίηση αυτών των μεθόδων στο λογισμικό NONMEM που χρησιμοποιείται ευρέως για τη μοντελοποίησημη γραμμικών μικτών επιδράσεων στο πλαίσιο της φαρμακομετρίας. Αναλυτικά οι μέθοδοι και τα αποτελέσματα που περιλαμβάνονται σε κάθε κεφάλαιο συνοψίζονται παρακάτω. Κεφάλαιο 1 Ασχολούμαστε με το πρόβλημα της λανθασμένης προδιαγραφής του μοντέλου στην πληθυσμιακή φαρμακοκινητική , μοντελοποιώντας την υπολειπόμενη ανεξήγητη μεταβλητότητα με μεθόδους μηχανικής μάθησης ως βήμα μετα-επεξεργασίας μετά την κλασική διαδικασία δημιουργίας μοντέλου. Ο πρακτικός σκοπός της μεθόδου είναιη δημιουργία ρεαλιστικών προφίλ εικονικών ασθενών. Η προτεινόμενη μεθοδολογία περιλαμβάνει τα εξής βήματα: Μετά την ανάπτυξη ενός πλυθησμιακού μοντέλου, υπολογίζονται τα ατομικά υπολειμματικά σφάλματα IRES = DV −IP RED, όπου DV είναι οι παρατηρήσεις και IP RED οι ατομικές προβλέψεις, και μοντελοποιούνται με μηχανική μάθηση για την απόκτηση του IRESML. Η διόρθωση των IP RED μπορεί στη συνέχεια να πραγματοποιηθεί ως DVML = IP RED + IRESML. Η μεθοδολογία δοκιμάστηκε σε μια μελέτη ΦΚ της ροπινιρόλης, για την οποία αναπτύχθηκε ένα μοντέλο, ενώ επίσης εξετάστηκε ένα δεύτερο, εκ προθέσεως εσφαλμένα προδιαγεγραμμένο μοντέλο. Δοκιμάστηκαν διάφοροι αλγόριθμοι μηχανικής μάθησης, μεταξύ των οποίων Random Forest παρουσίασαν τα καλύτερα αποτελέσματα. Το μοντέλο μηχανικής μάθησης κατάφερε να διορθώσει τις ατομικές προβλέψεις, όπως φαίνεται από τα διαγνωστικά διαγράμματα, και, το σημαντικότερο, προσομοίωσε ρεαλιστικά προφίλ που έμοιαζαν με τα πραγματικά δεδομένα και ακύρωσε τα τεχνουργήματα που εισήχθησαν από την αυξημένη υπολειπόμενη μεταβλητότητα, ακόμη και στην περίπτωση του ιδιαίτερα λανθασμένου μοντέλου. Κεφάλαιο 2 Επεκτείνοντας τις έννοιες που εισήχθησαν στο προηγούμενο κεφάλαιο, εισάγουμε μια μετρική με σκοπό την ποσοτικοποίηση της ποσότητας λανθασμένης προδιαγραφής του μοντέλου μετά από ένα αρχικό βήμα μοντελοποίησης. Η μεθοδολογία αποσκοπεί στην παροχή ενός αριθμητικού εργαλείου στο σύνολο εργαλείων του μοντελιστή που παρέχει πληροφορίες για το πόσο καλά η δομή του μοντέλου μπορεί να περιγράψει τα δεδομένα και είναι κατάλληλα κλιμακωμένη (0 έως 1), διευκολύνοντας την ερμηνεία των αποτελεσμάτων και τη σύγκριση μοντέλων. Οι προτεινόμενες μετρήσεις χρησιμοποιούν τα υπολείμματα που μοντελοποιήθηκαν με μηχανική μάθηση, όπως παρουσιάστηκαν στο προηγούμενο κεφάλαιο, IRESML, για τον υπολογισμό του πόσο καλά το μοντέλο προσέγγισε τα αρχικά IREStot. Η λογική είναι απλή: μια καλή προσαρμογή και υψηλή μέτρηση σημαίνει ότι το μοντέλο εντόπισε σήμα στα υπολείμματα, κάτι που υποδεικνύει προκατάληψη στο μοντέλο και υψηλή λανθασμένη προδιαγραφή. Μια χαμηλή και μικρή μέτρηση υποδεικνύει ότι απέτυχε να προσαρμόσει τα υπολείμματα και το αρχικό μοντέλο είναι αμερόληπτο. Οι μετρήσεις, που υποδηλώνονται ως R2ML και RR, βασίστηκαν στο κλασικό R2 και στην αναλογία των προσαρμοσμένων υπολειμμάτων προς το σύνολο. Αρχικά, οι μετρήσεις δοκιμάστηκαν σε εικονικές μελέτες περιπτώσεων, όπου ένα δι-διαμερισματικό μοντέλο χρησιμοποιήθηκε για τη δημιουργία συνθετικών δεδομένων, τα οποία στη συνέχεια προσαρμόστηκαν χρησιμοποιώντας ένα εσκεμμένα λανθασμένο μονοδιαμερισματικό μοντέλο και το σωστό δι-διαμεριστικό μοντέλο. Οι μετρήσεις υπολογίστηκαν χρησιμοποιώντας τα IRES και IW RES για να ελεγχθεί η επίδραση του τύπου υπολείμματος στο τελικό αποτέλεσμα. Αφού επικυρώθηκαν σε ελεγχόμενα σενάρια, οιμετρήσεις δοκιμάστηκαν σε πολλές πραγματικές μελέτες περιπτώσεων. Σε αυτή την περίπτωση, δοκιμάστηκαν προηγουμένως αναπτυγμένα μοντέλα για την αποφυγή προκατάληψης. Τα πραγματικά σενάρια περιλάμβαναν δεδομένα από τη βουσουλφάνη, τη μυκοφαιτυλική μοφετίλη, την οκτρεοτίδη και τα δεδομένα ροπινιρόλης που χρησιμοποιήθηκαν στο προηγούμενο κεφάλαιο. Οι τιμές των μετρήσεων συγκρίθηκαν με τυπικά μέτρα καλότητας προσαρμογής και οπτικά μέσα για την επικύρωση της απόδοσής τους. Στις ακραίες περιπτώσεις των συνθετικών δεδομένων (υψηλή και ελάχιστη λανθασμένη προδιαγραφή), οι μετρήσεις απέδωσαν όπως αναμενόταν, λαμβάνοντας αντίστοιχα υψηλές και χαμηλές τιμές. Στις πραγματικές μελέτες περιπτώσεων, οι τιμές συμφωνούσαν επίσης με τα οπτικά μέσα αξιολόγησης του μοντέλου και τα συμπεράσματα που προέκυψαν από τους αρχικούς μοντελιστές. Κεφάλαιο 3 Οι κλασματικές διαφορικές εξισώσεις, δηλαδή διαφορικές εξισώσεις με παραγώγους μη ακέραιας τάξης, μπορούν να περιγράψουν ορισμένα πειραματικά δεδομένα με μεγαλύτερη ακρίβεια από τα κλασικά μοντέλα και έχουν βρει εφαρμογή στη φαρμακοκινητική, αλλά η ευρύτερη εφαρμογή τους έχει παρεμποδιστεί από την έλλειψη κατάλληλου λογισμικού. Στην παρούσα εργασία, παρουσιάζεται μια επέκταση του λογισμικού NONMEM, ως υπορουτίνα σε FORTRAN, που επιτρέπει τον ορισμό μη γραμμικών μοντέλων μικτών επιδράσεων με χρήση κλασματικών διαφορικών εξισώσεων. Η νέα υπορουτίνα μπορεί να διαχειριστεί αυθαίρετα γραμμικά και μη γραμμικά μοντέλα που ορίζονται από τον χρήστη με πολλαπλές εξισώσεις και πολλαπλές δόσεις, και μπορεί να ενσωματωθεί απρόσκοπτα στις ροές εργασίας του NONMEM, λειτουργώντας καλά με πακέτα τρίτων. Η απόδοση της υπορουτίνας σε ασκήσεις εκτίμησης παραμέτρων, με απλά γραμμικά και μη γραμμικά (Michaelis-Menten) κλασματικά μοντέλα ΦΚ, αξιολογήθηκε μέσω προσομοιώσεων και μιας εφαρμογής σε πραγματικό κλινικό σύνολο δεδομένων για τη διαζεπάμη. Στη μελέτη προσομοίωσης, οι παράμετροι του μοντέλου εκτιμήθηκαν για καθένα από τα 100 προσομοιωμένα σύνολα δεδομένων για τα δύο μοντέλα. Υπολογίστηκαν η σχετική μέση μεροληψία και το σχετικό μέσο τετραγωνικό σφάλμαγια την αξιολόγηση της μεροληψίας και της ακρίβειας της μεθοδολογίας. Σε όλες τις περιπτώσεις, και οι δύο ποσότητες ήταν κάτω από 20%, υποδεικνύοντας υψηλή ακρίβεια και αξιοπιστία στις εκτιμήσεις. Για την εφαρμογή στη διαζεπάμη, το κλασματικό μοντέλο που περιέγραψε καλύτερα τη φαρμακοκινητική του φαρμάκου ήταν ένα γραμμικό μοντέλο ενός διαμερίσματος, το οποίο είχε παρόμοια απόδοση, σύμφωνα με τα διαγνωστικά διαγράμματα και τον Οπτικό Προγνωστικό ́Ελεγχο , με ένα κλασικό μοντέλο τριών διαμερισμάτων, αλλά με τέσσερις λιγότερες παραμέτρους από το τελευταίο. Αυτή είναι η πρώτη προσπάθεια χρήσης συστημάτων κλασματικών διαφορικών εξισώσεων σε πλαίσιο μη γραμμικών μοντέλων μικτών επιδράσεων, οπότε η προσέγγιση θα μπορούσε να ενδιαφέρει και άλλους τομείς εκτός από τη φαρμακοκινητική.