Προηγμένες τεχνικές μηχανικής μάθησης για πρόβλεψη και ταξινόμηση με χρήση συναισθηματικής ανάλυσης και ενεργής μάθησης

Abstract

This doctoral dissertation focuses on exploring Machine Learning techniques that incomporate Sentiment Analysis and Active Learning, with the primary goal of enhancing existing, efficient methods. The issues addressed are grouped into two main sections. In the first section, we concentrate on the use of Sentiment Analysis in financial domain applications. Initially, we investigate the scenario of stock market forecasting by utilizing data from social networks—specifically Twitter—to capture and assess public opinion. To this end, two extensive experimental procedures were designed: the first relies primarily on classical Machine Learning methods, whereas the second employs Deep Learning techniques. In both cases, we examine not only the performance of multiple algorithms but also the effect of different sentiment configurations (TextBlob, VADER, FinBERT). The findings highlight the positive contribution of Sentiment Analysis to improving economic forecasts. Subsequently, the study focuses on Financial Sentiment Analysis as a classification problem, comparing on the one hand numerous classical methods and their ensembles, and on the other hand various BERT variants. Concurrently, the effectiveness of class-balancing techniques (e.g., SMOTE) is examined in combination with different language representations (BoW, TF-IDF). The results highlight the superiority of BERT-based models—particularly RoBERTa—and show that the SMOTE and TF-IDF combination further optimizes performance. The second section addresses the use of Active Learning to reduce the requirement for labeled data in classification tasks. Two distinct scenarios were implemented. In the first, Active Learning is applied to the problem of Software Defect Prediction, employing both individual Machine Learning methods and their ensemble versions. In the second, we investigate whether comparable performance across various metrics can be achieved when Sentiment Analysis is supported by Transformer models that incorporate Active Learning. In both scenarios, the targeted selection of examples to be labeled yields models with performance analogous to that obtained by training on the entire dataset. Finally, a “meta-index” for evaluating Active Learning scenarios is proposed, suited to related experimental contexts, with the goal of providing a more comprehensive assessment of the effectiveness of the proposed methods.

Η παρούσα διδακτορική διατριβή εστιάζει στη διερεύνηση τεχνικών Μηχανικής Μάθησης οι οποίες αξιοποιούν την Ανάλυση Συναισθήματος και την Ενεργή Μάθηση, με κεντρικό στόχο τη βελτίωση υπαρχουσών, αποδοτικών μεθόδων. Τα ζητήματα που εξετάζονται μπορούν να διακριθούν σε δύο βασικές ενότητες. Η πρώτη ενότητα εστιάζει στη χρήση της Ανάλυσης Συναισθήματος σε οικονομικές εφαρμογές. Αρχικά, μελετάται η πρόβλεψη οικονομικών χρονοσειρών αξιοποιώντας δεδομένα από τα μέσα κοινωνικής δικτύωσης και συγκεκριμένα από το Twitter, προκειμένου να αποτυπωθεί και να εκτιμηθεί η άποψη της κοινής γνώμης. Για το σκοπό αυτό, σχεδιάστηκαν δύο εκτεταμένες πειραματικές διαδικασίες: η πρώτη βασίζεται κυρίως σε κλασικές μεθόδους Μηχανικής Μάθησης, ενώ η δεύτερη σε τεχνικές Βαθιάς Μάθησης. Και στις δύο περιπτώσεις, διερευνάται τόσο η απόδοση πλήθους αλγορίθμων όσο και η επίδραση διαφορετικών προσεγγίσεων συναισθηματικής αποτίμησης (TextBlob,VADER, FinBERT). Τα ευρήματα αναδεικνύουν τη θετική συμβολή της Συναισθηματικής Ανάλυσης στη βελτίωση των οικονομικών προβλέψεων. Στη συνέχεια, η μελέτη εστιάζει στην Οικονομική Συναισθηματική Ανάλυση (Financial Sentiment Analysis - FSA) ως πρόβλημα ταξινόμησης, συγκρίνοντας αφενός πλήθος κλασικών μεθόδων κι ομαδοποιητές τους, αφετέρου σύγχρονα προεκπαιδευμένα μοντέλα που βασίζονται στους transformers και συγκεκριμένα διάφορες εκδοχές του μοντέλουBERT. Παράλληλα, εξετάζεται η αποτελεσματικότητα τεχνικών εξισορρόπησης κλάσεων (SMOTE) σε συνδυασμό με διαφορετικές γλωσσικές αναπαραστάσεις (BoW, TF-IDF). Τα αποτελέσματα υποδεικνύουν την υπεροχή των μοντέλων ΒΕΡΤ, με κυρίαρχο το RoBERTa, καθώς και ότι ο συνδυασμός SMOTE και TF-IDF βελτιστοποιεί περαιτέρω τις επιδόσεις. Η δεύτερη ενότητα αφορά τη χρήση της Ενεργής Μάθησης με στόχο τη μείωση των απαιτήσεων σε επισημασμένα δεδομένα κατά την επίλυση προβλημάτων ταξινόμησης. Υλοποιήθηκαν δύο διακριτά σενάρια. Στο πρώτο, εξετάζεται η εφαρμογή της Ενεργής Μάθησης στο πρόβλημα της Πρόβλεψης Σφαλμάτων Λογισμικού , τόσο με χρήση μεμονωμένων μεθόδων Μηχανικής Μάθησης όσο και με ομαδοποιητές τους. Στο δεύτερο,διερευνάται το κατά πόσον μπορούν να επιτευχθούν συγκρίσιμες επιδόσεις στις διάφορες μετρικές αποτίμησης, όταν η Ανάλυση Συναισθήματος υποστηρίζεται από μοντέλα Transformer τα οποία αξιοποιούν Ενεργή Μάθηση. Και στα δύο σενάρια, η στοχευμένη επιλογή των παραδειγμάτων που θα ετικετοποιηθούν καταλήγει σε μοντέλα με απόδοση ανάλογη εκείνης που προκύπτει όταν χρησιμοποιείται ολόκληρο το διαθέσιμοσύνολο δεδομένων. Τέλος, προτείνεται ένας «μετα-δείκτης» αξιολόγησης των σεναρίων Ενεργής Μάθησης, κατάλληλος για συναφή εκπαιδευτικά σενάρια, με στόχο την πληρέστερη αποτίμηση της αποτελεσματικότητας των προτεινόμενων μεθόδων.