Evaluation of effectiveness and harms reporting in overviews of systematic reviews of interventions by developing new assessment tools

Abstract

In biomedical literature, overviews of systematic reviews (OoSRs) have recently become a popular approach of evidence synthesis where the unit of synthesis is the systematic review (SR). The outcome data from SRs included in an OoSRs can be presented exactly as they are reported in the SRs (qualitative synthesis) or they can be re-analyzed using meta-analysis (quantitative synthesis). OoSRs can provide valuable information to support decision-making by healthcare professionals and to guide integration of research evidence in policy-making within a short timeframe. Using a sample of 1558 OoSRs published between 2000 and 2020, the bibliometric analysis revealed research trends and areas of interest about these studies. Particularly, we found that the publications have been increasing yearly and their nomenclature was not uniform (the most frequent label in the title was “overview of systematic reviews”). The largest number of papers and the most cited ones were published by corresponding authors from the United Kingdom. The publications were distributed across 737 scholarly journals and many of them were published in the field of complementary/alternative medicine, psychiatry/psychology, nutrition/dietetics, and pediatrics. The co-authorship analysis revealed collaborations among authors from different countries. The most common clinical conditions were depression, diabetes, cancer, dementia, pain, cardiovascular disease, stroke, obesity, and schizophrenia. Furthermore, this dissertation presents assessment tools for evaluating the effectiveness and harms reporting completeness in OoSRs of healthcare interventions. We developed the PRIO-harms tool (56 sub-items) to promote a more transparent and balanced reporting of benefits and harms of interventions examined in healthcare OoSRs, and PRIO for abstracts tool (20 sub-items) to help authors in writing complete, transparent and informative abstracts for OoSRs. These instruments can be adopted by journal editors and publishers that publish OoSRs as well. Additionally, in this doctoral thesis we introduced new static tabular and graphical techniques for visually presenting overlapping SRs included in OoSRs. The proposed sophisticated graphical methods (e.g., upset plots, heatmaps, node-link graphs) may assist methodologists and authors in exploring and depicting the degree of overlap of primary studies across SRs, which in turn may improve validity and transparency in OoSRs. However, more research is needed to understand which graphical technique would be most useful and easiest to understand. These novel tools and graphical techniques might benefit from critical review and further validation from experts and research teams that produce guidelines for OoSRs.

Στη βιοϊατρική βιβλιογραφία, οι ανασκοπήσεις συστηματικών ανασκοπήσεων (ΑΣΑ) έχουν γίνει πρόσφατα μια δημοφιλής προσέγγιση της τεκμηριωμένης σύνθεσης, όπου η μονάδα σύνθεσης είναι η συστηματική ανασκόπηση (ΣΑ). Τα αποτελέσματα από τις ΣΑ που περιλαμβάνονται σε μια ΑΣΑ μπορούν να παρουσιαστούν ακριβώς όπως αναφέρονται στις ΣΑ (ποιοτική σύνθεση) ή μπορούν να αναλυθούν εκ νέου χρησιμοποιώντας μετα-ανάλυση (ποσοτική σύνθεση). Οι ΑΣΑ μπορούν να παρέχουν πολύτιμη πληροφορία για να υποστηρίξουν τη λήψη αποφάσεων από τους επαγγελματίες υγείας και να οδηγήσουν στην ενσωμάτωση των ερευνητικών αποτελεσμάτων στην πολιτική σχεδίασης σε σύντομο χρονικό διάστημα. Χρησιμοποιώντας ένα δείγμα 1558 ΑΣΑ που δημοσιεύθηκαν μεταξύ 2000 και 2020, η βιβλιομετρική ανάλυση αποκάλυψε ερευνητικές τάσεις και τομείς ενδιαφέροντος αυτών των μελετών. Συγκεκριμένα, διαπιστώσαμε ότι οι δημοσιεύσεις αυξάνονταν ετησίως και η ονοματολογία τους δεν ήταν ενιαία (η πιο συχνή ορολογία στον τίτλο ήταν «ανασκόπηση συστηματικών ανασκοπήσεων»). Ο μεγαλύτερος αριθμός άρθρων και αυτά με τις περισσότερες αναφορές δημοσιεύτηκαν από υπεύθυνους συγγραφείς που προέρχονται από το Ηνωμένο Βασίλειο. Τα άρθρα διανεμήθηκαν σε 737 επιστημονικά περιοδικά και πολλά από αυτά δημοσιεύθηκαν στον τομέα της συμπληρωματικής/εναλλακτικής ιατρικής, της ψυχιατρικής/ψυχολογίας, της διατροφής/διαιτητικής και της παιδιατρικής. Η ανάλυση της συν-συγγραφής αποκάλυψε συνεργασίες μεταξύ συγγραφέων διαφορετικών χωρών. Οι πιο συνηθισμένες κλινικές καταστάσεις ήταν η κατάθλιψη, ο διαβήτης, ο καρκίνος, η άνοια, ο πόνος, οι καρδιαγγειακές παθήσεις, το εγκεφαλικό επεισόδιο, η παχυσαρκία και η σχιζοφρένεια. Επιπλέον, αυτή η διατριβή παρουσιάζει εργαλεία που αξιολογούν την πληρότητα καταγραφής της αποτελεσματικότητας και της ασφάλειας των ιατρικών παρεμβάσεων στις ΑΣΑ. Αναπτύξαμε το εργαλείο PRIO-harms (56 υπο-στοιχεία) για να προωθήσουμε μια πιο διαφανή και ισορροπημένη αναφορά των ωφελειών και κινδύνων των ιατρικών παρεμβάσεων που διερευνώνται στις ΑΣΑ και το εργαλείο PRIO για περιλήψεις (20 υπο-στοιχεία) για να βοηθήσουμε τους συγγραφείς να συντάξουν ολοκληρωμένες, διαφανείς και κατατοπιστικές περιλήψεις για τις ΑΣΑ. Επίσης αυτά τα εργαλεία μπορούν να υιοθετηθούν από συντάκτες και εκδότες περιοδικών που δημοσιεύουν ΑΣΑ. Επιπροσθέτως, σε αυτήν τη διδακτορική διατριβή εισηγάγαμε νέες στατικές τεχνικές μέσω πινάκων και γραφημάτων για την οπτική παρουσίαση των αλληλεπικαλυπτόμενων ΣΑ που περιλαμβάνονται στις ΑΣΑ. Οι προτεινόμενες εκλεπτυσμένες γραφικές μέθοδοι (π.χ. “upset plots”, “heatmaps”, “node-link graphs”) ενδέχεται να βοηθήσουν τους μεθοδολόγους και συγγραφείς στην εξερεύνηση και απεικόνιση του βαθμού επικάλυψης των πρωτογενών μελετών των ΣΑ, γεγονός που με τη σειρά του μπορεί να βελτιώσει την εγκυρότητα και τη διαφάνεια στις ΑΣΑ. Ωστόσο, απαιτείται περισσότερη έρευνα για να κατανοηθεί ποιες γραφικές τεχνικές θα ήταν πιο χρήσιμες και ευκολότερες στην κατανόηση. Αυτά τα νέα εργαλεία και γραφικές τεχνικές θα μπορούσαν να βελτιωθούν από την κριτική αξιολόγηση και περαιτέρω επικύρωση από ειδικούς και ερευνητικές ομάδες που παράγουν κατευθυντήριες οδηγίες για τις ΑΣΑ.