Πληροφοριακά συστήματα και μέθοδοι στατιστικής ανάλυσης με εφαρμογή στην έρευνα παθολογίας στόματος

Abstract

Objectives: The aim of this thesis is to study statistical methods used in oral pathology and oral medicine research, aiming at improving the statistical quality in research findings. The thesis examines the type of statistical methods, the errors and omissions found in them as well as the "intensity" of statistical methods according to the SIMA method. More specifically, it examines whether the use of statistical methods, the errors and omissions that appear in statistical methods, and the "intensity" of statistical methods differ over time, and between different journals. Furthermore, this thesis includes an empirical part. A customized software is designed and developed for the oral pathology and oral medicine clinic of the Dental School at the Aristotle University of Thessaloniki. The purpose of this software is to keep patients’ records, code, and extract data for statistical use. Materials and Methods: Three hundred twenty (320) articles were randomly selected from the following four journals of Oral Pathology and Oral Medicine: Oral Oncology (OO), Oral Diseases (OD), Oral Surgery, Oral Medicine, Oral Pathology and Oral Radiology (OOOO), Journal of Oral Pathology and Medicine (JOPM). Eighty (80) articles of each journal from the two years issues ( 40 for 2011 and 40 for 2020), were selected as the sample of this study. First, the statistical methods used in the published articles are studied and it is examined whether the statistical approach of scientific articles has changed in the last nine years (2011-2020). Further, it is investigated whether the statistical approach and methods of scientific articles differ in the selected journals. In addition to the statistical methods, other attributes of the articles are investigated, such as the type of study, the sample, the statistical analysis software used, and the Impact Factor and citation Index of the journal. Further, this study examines the errors and omissions that appear in the research findings and results, or in the methodology of statistical analysis in scientific journals. It studies also whether the frequency or severity of statistical errors or omissions of scientific articles has changed in the last nine years (2011-2020). Finally, it examines if the frequency or severity of statistical errors or errors of scientific articles differs per scientific journal. The "intensity of the statistical analysis of medical articles" is also calculated for each article using the method of Statistical Intensity of Medical Articles (SIMA) (Nieminen et al., 2017). It is further studied if there is a difference in intensity in the articles between the years 2011 and 2021 and if the intensity of scientific articles differs per scientific journal. In the empirical part, a customized software is developed for the full exploitation of the patients’ diseases and treatments’ data by the oral pathology and oral medicine clinic of the Dental School at the Aristotle University of Thessaloniki. This software is developed to support data analysis and produce (automatic and non-automatic) reliable data for statistical analysis. To achieve the above to the maximum extent, all diseases that appear in the oral pathology and oral medicine where recorded, classified, and coded. The same was done with the medicines used for medical treatments. This software is connected with other online information systems and is used as the primary electronic system for patients records at the clinic since 2019.Results: Simple univariate statistical methods are mostly used in the published articles (chi square 36.74%, Fisher's exact test 20.45%. t-test (paired and independent) 34.85%, ANOVA 23.86%). Multivariate statistical analyses are primarily expressed by TTE (Cox Hazard model in combination with the Kaplan Meier / log-Rank method). The percentage of articles with Cox Hazard model appears in 18.94% of articles, and it constitutes 53.19% of multivariate /advanced methods, followed by Multiple Logistic Regression (15.96% of multivariate /advanced methods) and Multiple Regression (6.38% of multivariate /advanced methods).The use of regression models and other advanced analysis models, often used in other scientific fields such as psychology and sociology, is limited in the sample of the study. Advanced methods such as Machine Learning, Bayesian, and Factor Analysis are rarely used for statistical analysis in the articles. The number of statistical methods per article increased significantly from 2011 to 2021. In 2011 the mean of statistical methods per article was 2.05 while in 2020 was 2.77. (p=0,042, chi-square test). The multivariate /advanced methods overall increased from 2011 to 2020 but not significantly (p= 0.086, chi square test). In other fields of medicine and psychology the increase is significantly and higher than in selected articles. A significant increase is observed in TTE methods (Cox hazard model / Kaplan Meier curves) (p= 0.043 chi square test)There is a significant differentiation per magazine in the use of overall multivariate /advanced methods and TTE, but also in the quantity of statistical methods used per article. 85% of the articles identified some omission or error in the way statistical methods are reported or used. This result is similar as reported in other similar studies. The most common omissions/errors are: There is no evaluation/calculation of sample size (e.g. power analysis) (62.50%) and insufficient reporting of statistical methods (36.36%). Significant errors occur such as non-control of regularity (16.67%) and other pre-requisites (21.97%) of the methods, non-correction of multiple p-values (e.g. Bonferroni). Serious statistical errors such as the use of the chi square method when the expected value in cells above 25% is less than 5 (7.2%) and the use of an inappropriate test for the case under consideration (2.27%) have lower incidence rates. There was no significant difference in error rates between 2011 and 2020 with the exception of the error of using the chi-square method where more than 25% of the cells have an expected value, the lack of reference to the statistical package used and the appearance of many p values, without this being necessary. Significant difference of error rates was not observed in the magazines of the study. Normality check (11.36%), homogeneity test (3.41%), correction p values (19.32%) and calculation of the sample size (power analysis or other methods) (5.50%) have low incidence rates in the examined articles. The "intensity" of statistical analysis, has a significant increase from 2011 to 2020 (p<0,0001 Mann-Whitney U). The "intensity" of the statistical analysis in the magazine OO is significantly greater than the rest. It is emphasized that this magazine has the highest citation index and impact factor. Conclusions: Despite the great improvement of statistical software and the emergence of advanced methods for statistical analysis, simple univariate statistical analysis still leads the research in the field of oral pathology and oral medicine. The use of advanced statistical methods in oral pathology is lagging other fields of medical science. There is an increase in the use of multivariate and advanced methods from 2011 to 2020 but this is not significant, even though there is a significant increase in the quantity of statistical methods per article. We have a significant increase only in Time To Event (TTE) methods. Significant difference in the number of methods per journal but also in the use of advanced methods was observed among the journals with the best score achieved by the journal with the highest impact factor while the one with the lowest impact factor scores the lowest score. The percentage of errors and omissions in the statistical methods applied remains high and similar to other sectors. There was no improvement over time or between journals. This shows that the problem of the incomplete presentation and use of statistical methods is a persistence problem that does not seem to be reduced over time. The "intensity" of statistical analysis in 2020 is significant higher compared to 2011. This is mainly due to the highest number of statistical methods applied per article and the significant increase in advanced and multivariable TTE methods. The difference in “intensity” between the different journals is also significant, which can also be interpreted by the difference in the mean of statistics methods per article and the difference in the use of advanced methods observed between journals. And here the magazine with the highest impact factor gives the higher "intensity" and the magazine with lower impact factor gives the lower. Overall, through the study that is conducted and the development and use of the oral pathology clinic software, it is concluded that the oral pathology and oral medicine researchers should be further trained in the most advanced and frequently used statistical methods. Moreover, they should use reliable data, gathered by an information system or data base where coded information is stored and can be used for research and statistical analysis.

Στην παρούσα διατριβή μελετώνται οι στατιστικές μέθοδοι που χρησιμοποιούνται στην έρευνα παθολογίας στόματος με στόχο τη σωστή εφαρμογή τους για την εξαγωγή έγκυρων ερευνητικών αποτελεσμάτων. H έρευνα πλαισιώνεται, επιπλέον, με μια εμπειρική εφαρμογή σχεδιασμού και υλοποίησης ενός πληροφοριακού συστήματος για τη σωστή κωδικοποίηση και εξαγωγή δεδομένων για στατιστική επεξεργασία. Οι στατιστικές μέθοδοι εξετάζονται ως προς τα είδη τους, τα σφάλματα και τις παραλείψεις που εντοπίζονται σε αυτές, καθώς και την «ένταση» τους σύμφωνα με τη μέθοδο SIMA (Statistical Intensity of Medical Articles). Για τη μελέτη αυτή χρησιμοποιήθηκαν 320 τυχαία επιλεγμένα (χρήση random.org) επιστημονικά άρθρα από τέσσερα πλέον αναγνωρίσιμα περιοδικά του επιστημονικού πεδίου της Στοματολογίας (1. Oral Oncology (ΟΟ), 2. Oral Diseases (OD), 3. Oral Surgery, Oral Medicine, Oral Pathology and Oral Radiology (ΟΟΟΟ), 4. Journal of Oral Pathology and Medicine (JOPM)) από τα έτη 2011 και 2020.Τα κυριότερα ευρήματα της έρευνας είναι ότι στα άρθρα κυριαρχούν οι απλές μονομεταβλητές στατιστικές αναλύσεις ενώ στις πολυμεταβλητές στατιστικές αναλύσεις επικρατέστερες είναι οι μέθοδοι ανάλυσης δεδομένων διάρκειας ζωής (Time to event methods (TTE)). Επιπλέον, είναι περιορισμένη η χρήση μοντέλων παλινδρόμησης και άλλων σύνθετων μοντέλων ανάλυσης που χρησιμοποιούνται συχνά σε άλλους επιστημονικούς τομείς, όπως η ψυχολογία και η κοινωνιολογία. Τέλος, προηγμένες μέθοδοι που παρουσιάζουν ιδιαίτερη ανάπτυξη στη στατιστική ανάλυση τα τελευταία χρόνια, όπως Μηχανική Μάθηση (Machine Learning), Bayesian, Παραγοντική Ανάλυση (Factor Analysis), παρουσιάζουν πολύ χαμηλά ποσοστά εμφάνισης στα άρθρα. Ο αριθμός των στατιστικών μεθόδων ανά άρθρο αυξήθηκε σημαντικά από το 2011 στο 2021. Σε αντίθεση με άλλους τομείς της ιατρικής και ψυχολογίας, οι πολυμεταβλητές/σύνθετες μέθοδοι ενώ αυξήθηκαν συνολικά σε σχέση με το 2011, ωστόσο η αύξηση αυτή δεν ήταν στατιστικά σημαντική. Σημαντική αύξηση παρατηρείται στις μεθόδους TTE. Διαπιστώνεται, επίσης, σημαντική διαφοροποίηση ανά περιοδικό στη χρήση συνολικά πολυμεταβλητών/σύνθετων μεθόδων αλλά και ΤΤΕ, αλλά και του πλήθους των στατιστικών μεθόδων ανά άρθρο. Υπάρχει, μάλιστα, πιθανή σύνδεση ανάμεσα στη χρήση των σύνθετων μεθόδων και του δείκτη απήχησης (IF) των περιοδικών. Επιπλέον, στο 85% περίπου των άρθρων εντοπίστηκε κάποια παράληψη ή λάθος στον τρόπο αναφοράς ή χρήσης των στατιστικών μεθόδων. Το ποσοστό αυτό είναι αντίστοιχο με αυτό άλλων ερευνών. Δεν παρατηρήθηκε στατιστικά σημαντική διαφοροποίηση στα λάθη ανάμεσα στο 2011 και 2020 με εξαίρεση το σφάλμα χρήσης της μεθόδου chi-square, την παράληψη του στατιστικού πακέτου που χρησιμοποιήθηκε και την εμφάνιση πολλών τιμών p, χωρίς αυτό να είναι απαραίτητο. Στατιστικά σημαντική διαφοροποίηση λαθών δεν παρατηρήθηκε και στα λάθη ανάμεσα στα διαφορετικά περιοδικά. Τέλος, η «ένταση» της στατιστικής ανάλυσης, παρουσιάζει μια στατιστικά σημαντική αύξηση από το 2011 στο 2020. Αυτό σημαίνει ότι στα σύγχρονα άρθρα επιχειρείται καλύτερη τεκμηρίωση, χρήση περισσότερων μεθόδων και καλύτερη εστίαση στα σημεία που απαιτούνται για να αποκτήσει το άρθρο μεγαλύτερη «ένταση» στατιστικής ανάλυσης. H «ένταση» της στατιστικής ανάλυσης στο περιοδικό Oral Oncology, το οποίο έχει τον μεγαλύτερο δείκτη απήχησης (IF), είναι σημαντικά μεγαλύτερη από τα υπόλοιπα. Η ερευνητική διαδικασία για τη διατριβή αυτή ολοκληρώνεται με ένα εφαρμοσμένο εμπειρικό κομμάτι που αφορά στη χρήση των πληροφοριακών συστημάτων για τη σωστή κωδικοποίηση και εξαγωγή δεδομένων για στατιστική επεξεργασία. Για τον σκοπό αυτό αναπτύχθηκε ειδικό λογισμικό προσαρμοσμένο στις ανάγκες της κλινικής στοματολογίας ώστε να παρέχει όλα τα δεδομένα και πληροφορίες που απαιτούνται για την εξαγωγή στατιστικών συμπερασμάτων και τη δημιουργία μοντέλων πρόβλεψης. Το λογισμικό αυτό χρησιμοποιείται από το 2019 στην κλινική για την καταχώρηση και παρακολούθηση της πορείας των ασθενών και την εξαγωγή στατιστικών δεδομένων για έρευνα και μελέτη.