Reporting completeness and quality of systematic reviews of prognostic prediction models for covid-19: a living mapping and qualitative assessment of the research landscape

Abstract

A prognostic prediction model (PPM) combines various prognostic factors to estimate a patient's risk of specific outcomes, supporting medical decision-making, particularly when healthcare resources are limited. Systematic reviews (SRs) of PPMs serve as a key research design for critically appraising, validating, and evaluating these models, thereby drawing conclusions about their quality and usefulness. The growing volume of SRs evaluating PPMs has led to the emergence of overviews of reviews (OoRs), which collect and synthesize evidence from multiple SRs to provide actionable insights for policymakers and clinicians. In this dissertation, we first conducted a methodological overview of systematic reviews of prognostic prediction models for COVID-19, published between 2020 and 2022, to assess their reporting completeness and transparency. Ten SRs were identified, including between 6 and 606 models developed using conventional statistical or machine learning (ML) methods. Most lacked a pre-defined protocol or adequate details on study selection, data collection, and reporting of included primary studies and models, with only one providing publicly available data. Additionally, the overall risk of bias was judged as high for the majority of SRs using the ROBIS tool. Furthermore, this thesis critically assessed the reporting completeness of COVID-19 prognostic models developed using either conventional statistical or ML methods, according to the TRIPOD and TRIPOD+AI guidelines. A total of 53 studies describing 71 prognostic models were identified; adherence to both guidelines was low overall, with significantly poorer compliance among ML-based studies compared to conventional model studies. More specifically, the reporting weaknesses included incomplete predictor and outcome definitions, lack of clarity around missing data handling, inadequate performance evaluation and validation procedures, and missing sample size justification in all studies. Finally, an evaluation of the reporting completeness of OoRs of prognostic prediction models using the PRIOR checklist was conducted to identify items for improvement and potential adaptation of the tool for the specific context of prognostic models. Seven OoRs were retrieved, showing moderate overall PRIOR adherence. Gaps occurred in reporting methodological components as none of the included overviews fully described the data collection process, management of discrepant data or synthesis methods used. In addition, only one addressed primary study overlap across the included SRs, and none provided sufficient detail on the assessment of reporting bias or certainty of evidence. Guidance for conducting SRs of PPMs is urgently needed, alongside greater awareness and education in minimum reporting standards and quality criteria. Moreover, tailored reporting guidelines are essential to address specific methodological challenges of PPMs overviews, thereby enhancing transparency, reproducibility, and utility in this growing field of evidence synthesis.

Ένα προγνωστικό μοντέλο πρόβλεψης (ΠΜΠ) συνδυάζει διάφορους προγνωστικούς παράγοντες για να εκτιμήσει τον κίνδυνο ενός ασθενούς για συγκεκριμένες εκβάσεις, υποστηρίζοντας τη λήψη ιατρικών αποφάσεων, ιδιαίτερα όταν οι υγειονομικοί πόροι περίθαλψης είναι περιορισμένοι. Οι συστηματικές ανασκοπήσεις (ΣΑ) των προγνωστικών μοντέλων χρησιμεύουν ως βασικός σχεδιασμός έρευνας για την κριτική αξιολόγηση και την επικύρωση αυτών των μοντέλων, παρέχοντας συμπεράσματα για την ποιότητα και τη χρησιμότητά τους. Ο αυξανόμενος όγκος των ΣΑ που αξιολογούν τα ΠΜΠ έχει οδηγήσει στην εμφάνιση των ανασκοπήσεων συστηματικών ανασκοπήσεων (ΑΣΑ), οι οποίες συγκεντρώνουν και συνθέτουν αποτελέσματα από τις ΣΑ για να παρέχουν πληροφορίες στους υπεύθυνους χάραξης πολιτικής και τους κλινικούς. Στην παρούσα διδακτορική διατριβή, πραγματοποιήσαμε αρχικά μια μεθοδολογική ΑΣΑ για ΠΜΠ για COVID-19, που δημοσιεύθηκαν μεταξύ 2020 και 2022, προκειμένου να αξιολογήσουμε την πληρότητα καταγραφής και τη διαφάνεια τους. Βρέθηκαν δέκα ΣΑ, οι οποίες περιείχαν από 6 έως 606 μοντέλα, τα οποία αναπτύχθηκαν είτε με συμβατικές στατιστικές μεθόδους είτε μεθόδους μηχανικής μάθησης. Οι περισσότερες από αυτές τις ΣΑ δεν διέθεταν προκαθορισμένο πρωτόκολλο ή επαρκείς λεπτομέρειες για την επιλογή των μελετών, τη συλλογή δεδομένων και την καταγραφή των συμπεριλαμβανόμενων πρωτογενών μελετών και μοντέλων, με μόνο μία ΣΑ να διαθέτει δημόσια τα δεδομένα της. Επιπλέον, με τη χρήση του εργαλείου ROBIS, ο συνολικός κίνδυνος μεροληψίας κρίθηκε υψηλός για την πλειονότητα των ΣΑ. Επιπλέον, αυτή η διατριβή έκανε μια κριτική αξιολόγηση της πληρότητας της καταγραφής των προγνωστικών μοντέλων για COVID-19, που αναπτύχθηκαν είτε με συμβατικές στατιστικές μεθόδους είτε με μεθόδους μηχανικής μάθησης, εφαρμόζοντας τις κατευθυντήριες οδηγίες TRIPOD και TRIPOD+AI. Συνολικά, εντοπίστηκαν 53 μελέτες που περιγράφουν 71 προγνωστικά μοντέλα. Η συμμόρφωση στις δύο κατευθυντήριες οδηγίες ήταν συνολικά χαμηλή, με σημαντικά χαμηλότερη συμμόρφωση στις μελέτες που βασίζονταν σε μηχανική μάθηση σε σύγκριση με τις μελέτες συμβατικών μοντέλων. Πιο συγκεκριμένα, οι αδυναμίες στην καταγραφή περιλάμβαναν ελλιπείς ορισμούς των προγνωστικών παραγόντων και των εκβάσεων, έλλειψη σαφήνειας σχετικά με τη διαχείριση των ελλειπουσών τιμών, ανεπαρκείς διαδικασίες για την αξιολόγηση της απόδοσης και την επικύρωση των μοντέλων, καθώς και έλλειψη αιτιολόγησης του μεγέθους δείγματος σε όλες τις μελέτες. Τέλος, πραγματοποιήθηκε αξιολόγηση της πληρότητας καταγραφής των ΑΣΑ των ΠΜΠ χρησιμοποιώντας το εργαλείο PRIOR, προκειμένου να προσδιοριστούν τα σημεία που χρήζουν βελτίωσης και η πιθανή προσαρμογή του εργαλείου αυτού στο συγκεκριμένο πλαίσιο των προγνωστικών μοντέλων. Εντοπίστηκαν επτά ΑΣΑ, οι οποίες έδειξαν μέτρια συνολική συμμόρφωση στο PRIOR. Κενά παρατηρήθηκαν στην καταγραφή των μεθοδολογικών στοιχείων, καθώς καμία από αυτές τις ΑΣΑ δεν περιέγραφε πλήρως τη διαδικασία συλλογής δεδομένων, τη διαχείριση των ασυμφωνιών στα δεδομένα ή τις μεθόδους σύνθεσης που χρησιμοποιήθηκαν. Επιπλέον, μόνο μία ΑΣΑ συζήτησε την επικάλυψη των πρωτογενών μελετών στις συμπεριλαμβανόμενες ΣΑ, και καμία δεν παρείχε επαρκείς λεπτομέρειες για την αξιολόγηση της μεροληψίας καταγραφής ή της βεβαιότητας των αποδεικτικών στοιχείων. Χρειάζεται άμεσα καθοδήγηση για τη διεξαγωγή ΣΑ των ΠΜΠ, ταυτόχρονα με μεγαλύτερη ευαισθητοποίηση και εκπαίδευση για τη χρήση πρότυπων καταγραφής και τα κριτήρια ποιότητας. Επιπλέον, ειδικά προσαρμοσμένες οδηγίες καταγραφής είναι απαραίτητες για την αντιμετώπιση των ειδικών μεθοδολογικών προκλήσεων των ΑΣΑ προγνωστικών μοντέλων, με σκοπό την ενίσχυση της διαφάνειας, της αναπαραξιμότητας και της χρησιμότητας σε αυτόν τον αναπτυσσόμενο τομέα της σύνθεσης στοιχείων.