Μείωση μαθηματικών διαστάσεων πολυμεταβλητών κατηγορικών δεδομένων και μηχανική μάθηση: νέες μεθοδολογικές προτάσεις και επεκτάσεις

Abstract

This dissertation investigates the relationship and complementarity between Data Analysis and Machine Learning, with particular emphasis on high-dimensional categorical data. Such data are widely encountered in scientific fields, including biological sciences, social sciences, and education, yet they pose significant analytical challenges due to their non-numerical nature and the complexity of the relationships among variables. The primary objective of this dissertation is to investigate, compare, and extend dimensionality reduction strategies for categorical data in combination with Machine Learning classification algorithms. The integration of these approaches enables a more comprehensive exploration of data structure and variability, facilitating the extraction of meaningful information and the production of more reliable and interpretable results. A hybrid methodological framework is adopted, combining classical multivariate statistical techniques with modern Machine Learning algorithms. The study examines several dimensionality reduction methods, including Multiple Correspondence Analysis (MCA), Categorical Principal Component Analysis (CATPCA), Principal Component Analysis (PCA) following appropriate quantification of categorical variables, Factor Analysis of Mixed Data (FAMD), as well as Nonlinear Canonical Correlation Analysis (NLCCA) and Multiple Factor Analysis (MFA). Alternative dimensionality reduction strategies are evaluated based on the variable’s measurement scale (nominal, ordinal, or mixed), using appropriate transformations, optimal scaling procedures, and combinations of these techniques. The effectiveness of the proposed dimensionality reduction strategies is further assessed using supervised Machine Learning classification algorithms, including Random Forests, Artificial Neural Networks, k-Nearest Neighbors (k-NN), Support Vector Machines (SVM), and Logistic Regression. In addition, feature selection is examined as an alternative to dimensionality reduction to improve classification performance. A major contribution of this dissertation is the development of three methodological extensions of Correspondence Analysis (CA/MCA). The first extends the application of CA/MCA and CA-raw from contingency tables to quantitative data matrices by transforming quantitative values into integer frequencies, thereby enabling analysis of secondary quantitative data and broadening their applicability. The second applies CA/MCA to matrices in which rows represent complete category interaction profiles rather than individual observations. This approach achieves substantial information compression, improves the interpretation of distances in the factorial space, and more effectively reveals interactions among categorical variables. The third combines Correspondence Analysis with Kriging spatial interpolation and Hierarchical Cluster Analysis (HCA), providing an integrated analytical framework that links geometric representation, clustering, and spatial visualization for the analysis of complex compositional data. The empirical evaluation is based on real-world datasets at both small and large scales, enabling a comprehensive comparison of alternative dimensionality reduction strategies. The results demonstrate that the choice of dimensionality reduction method has a significant impact on both predictive accuracy and model interpretability. Furthermore, the findings indicate that no universally optimal dimensionality reduction or classification method exists; instead, the most appropriate approach depends on the research objectives and the characteristics of the data. Overall, this dissertation contributes to both the theoretical understanding of the relationship between Data Analysis and Machine Learning and the methodological advancement of high-dimensional categorical data analysis. The proposed approaches broaden the applicability of existing methods and provide a foundation for future research on developing new and alternative strategies for the analysis and management of complex categorical data.

Η παρούσα διατριβή διερευνά τη σύνδεση και τη συμπληρωματικότητα μεταξύ της Ανάλυσης Δεδομένων και της Μηχανικής Μάθησης, με ιδιαίτερη έμφαση στα πολυδιάστατα κατηγορικά δεδομένα. Τα δεδομένα αυτά είναι ιδιαίτερα διαδεδομένα σε επιστημονικούς τομείς όπως οι βιολογικές και κοινωνικές επιστήμες, καθώς και η εκπαίδευση, παρουσιάζοντας σημαντικές αναλυτικές προκλήσεις λόγω της μη αριθμητικής τους φύσης και της πολυπλοκότητας των μεταξύ τους σχέσεων. Κεντρικός στόχος της διατριβής είναι η διερεύνηση, σύγκριση και μεθοδολογική επέκταση στρατηγικών μείωσης διαστάσεων για κατηγορικά δεδομένα, σε συνδυασμό με αλγορίθμους ταξινόμησης της Μηχανικής Μάθησης. Ο συνδυασμός των δύο προσεγγίσεων επιτρέπει την αποτελεσματικότερη διερεύνηση της δομής των δεδομένων και της μεταβλητότητάς τους, συμβάλλοντας στην εξαγωγή χρήσιμης πληροφορίας και στην παραγωγή περισσότερο αξιοποιήσιμων αποτελεσμάτων. Η προσέγγιση που ακολουθείται είναι υβριδική, συνδυάζοντας κλασικές μεθόδους πολυμεταβλητής στατιστικής ανάλυσης με σύγχρονους αλγορίθμους μηχανικής μάθησης. Εξετάζονται μέθοδοι μείωσης διαστάσεων όπως η Παραγοντική Ανάλυση Πολλαπλών Αντιστοιχιών (MCA), η Κατηγορική Ανάλυση σε Κύριες Συνιστώσες (CATPCA), η Ανάλυση σε Κύριες Συνιστώσες (PCA) μετά από κατάλληλη ποσοτικοποίηση των δεδομένων, η Παραγοντική Ανάλυση για Μεικτού Τύπου Δεδομένα (FAMD), καθώς και οι μέθοδοι NLCCA και MFA. Παράλληλα, αξιολογούνται εναλλακτικές στρατηγικές ανάλογα με την κλίμακα μέτρησης των μεταβλητών (ονομαστικές, διατακτικές ή μεικτές), μέσω κατάλληλων μετασχηματισμών, ποσοτικοποιήσεων και συνδυασμών των παραπάνω τεχνικών. Η αποτελεσματικότητα των στρατηγικών μείωσης διαστάσεων αξιολογείται περαιτέρω μέσω επιβλεπόμενων αλγορίθμων μηχανικής μάθησης, όπως Random Forests, Νευρωνικά Δίκτυα, k-Nearest Neighbors (k-NN), Support Vector Machines (SVM) και Λογιστική Παλινδρόμηση. Παράλληλα, αναδεικνύεται η σημασία της επιλογής χαρακτηριστικών (feature selection) ως εναλλακτικής προσέγγισης μείωσης διαστάσεων και βελτίωσης της απόδοσης των μοντέλων ταξινόμησης. Ιδιαίτερη συμβολή της διατριβής αποτελεί η ανάπτυξη τριών νέων μεθοδολογικών επεκτάσεων της Ανάλυσης Αντιστοιχιών (CA/MCA). Η πρώτη επεκτείνει την εφαρμογή των CA/MCA και CA-raw από πίνακες συχνοτήτων σε πίνακες ποσοτικών τιμών, επιτρέποντας την αξιοποίηση δευτερογενών δεδομένων και τη διεύρυνση του πεδίου εφαρμογής των μεθόδων. Η δεύτερη εφαρμόζει την CA/MCA σε πίνακες πλήρων προφίλ αλληλεπίδρασης κατηγοριών αντί μεμονωμένων παρατηρήσεων, επιτυγχάνοντας σημαντική συμπύκνωση της πληροφορίας, βελτιωμένη ερμηνεία των αποστάσεων στον παραγοντικό χώρο και αποτελεσματικότερη ανάδειξη των αλληλεπιδράσεων μεταξύ κατηγοριών. Η τρίτη συνδυάζει την Παραγοντική Ανάλυση Αντιστοιχιών (CA) με χωρική παρεμβολή Kriging και Ιεραρχική Ταξινόμηση (HCA), προσφέροντας ένα ολοκληρωμένο πλαίσιο γεωμετρικής αναπαράστασης, συσταδοποίησης και χωρικής οπτικοποίησης σύνθετων δεδομένων λόγου. Η εμπειρική αξιολόγηση πραγματοποιείται σε πραγματικά σύνολα δεδομένων μικρής και μεγάλης κλίμακας, επιτρέποντας τη συγκριτική αξιολόγηση των εναλλακτικών στρατηγικών. Τα αποτελέσματα αναδεικνύουν ότι η επιλογή της κατάλληλης μεθόδου επηρεάζει καθοριστικά τόσο την προβλεπτική ακρίβεια όσο και την ερμηνευσιμότητα των μοντέλων. Παράλληλα, αναδεικνύεται ότι δεν υπάρχει μία καθολικά βέλτιστη μέθοδος μείωσης διαστάσεων ή ταξινόμησης, αλλά ότι η καταλληλότητά της εξαρτάται από τους στόχους της ανάλυσης και τη φύση των δεδομένων. Συνολικά, η διατριβή συμβάλλει τόσο στη θεωρητική κατανόηση της σχέσης μεταξύ Ανάλυσης Δεδομένων και Μηχανικής Μάθησης όσο και στη μεθοδολογική ενίσχυση της ανάλυσης πολυδιάστατων κατηγορικών δεδομένων. Οι προτεινόμενες προσεγγίσεις διευρύνουν το πεδίο εφαρμογής των υφιστάμενων μεθόδων και αποτελούν αφετηρία για περαιτέρω έρευνα και ανάπτυξη νέων στρατηγικών διαχείρισης και ανάλυσης σύνθετων κατηγορικών δεδομένων.