Intelligent sentiment analysis system using multicriteria and qualitative comparative analysis

Abstract

In today's dynamic and competitive market environment, understanding and enhancing customer satisfaction are essential for business success. Traditional methods of analysing customer feedback, often reliant on structured survey data, fall short in capturing the complexity and diversity of modern customer experiences reflected in heterogeneous data, such as those found in online customer reviews. The present dissertation proposes a novel five-step customer feedback analysis system designed to address these challenges by integrating advanced analytical techniques, including aspect-based sentiment analysis (ABSA), multicriteria decision analysis (MCDA), opinion analysis (OA), and qualitative comparative analysis (QCA).The system commences with the preprocessing of customer reviews to prepare data for subsequent analysis, followed by the application of an aspect-based sentiment analysis technique that leverages Large Language Models (LLMs) to extract and evaluate sentiment associated with specific aspects or features. The third step introduces the MUSAsent method, an extension of the Multicriteria Satisfaction Analysis (MUSA) framework, by incorporating sentiment data with quantitative ratings, providing a multi-dimensional analysis of customer satisfaction. The fourth step involves opinion analysis, which refines the satisfaction analysis through sentiment-based metrics, and the final step employs fuzzy-set Qualitative Comparative Analysis (fsQCA) to extract actionable insights and guidelines for strategic decision-making. The effectiveness of the system is demonstrated through experiments and case studies in the airlines and hospitality industries, showing its capability to translate complex customer feedback into practical, evidence-based strategies. By combining both quantitative and qualitative data, this dissertation contributes to the field of customer satisfaction analysis, by providing a robust framework for customer feedback analysis, offering businesses a powerful tool to enhance decision-making and improve customer satisfaction across diverse sectors.

Στο σημερινό δυναμικό και ανταγωνιστικό περιβάλλον της αγοράς, η κατανόηση και η ενίσχυση της ικανοποίησης των πελατών είναι απαραίτητη για την επιτυχία κάθε επιχείρησης. Οι προτιμήσεις και οι απόψεις των πελατών εκφράζονται πλέον όλο και περισσότερο μέσω διαδικτυακών κριτικών (online customer reviews) που περιλαμβάνουν συνδυασμό ποσοτικών δεδομένων (αριθμητικές αξιολογήσεις – ratings) και ποιοτικών (σχόλια – comments), δημιουργώντας την ανάγκη για πιο εξελιγμένες και δυναμικές προσεγγίσεις στην ανάλυση ανατροφοδότησης. Οι παραδοσιακές μέθοδοι ανάλυσης ικανοποίησης πελατών, που συχνά βασίζονται αποκλειστικά σε ποσοτικά δεδομένα έρευνας, υπολείπονται στην αποτύπωση της πολυπλοκότητας και της ποικιλομορφίας των σύγχρονων εμπειριών των πελατών. Η παρούσα διατριβή προτείνει ένα Ευφυές Σύστημα Ανάλυσης πέντε βημάτων για την αντιμετώπιση αυτού του φαινομένου, ενσωματώνοντας προηγμένες αναλυτικές τεχνικές όπως Ανάλυση Συναισθήματος βάσει χαρακτηριστικών (Aspect based Sentiment Analysis – ABSA), Πολυκριτήρια Ανάλυση Ικανοποίησης με ενσωμάτωση συναισθήματος (MUSAsent), Ανάλυση Γνώμης (Opinion Analysis – OA) και Ποιοτική συγκριτική ανάλυση με χρήση ασαφών συνόλων (fsQCA) για να αναπτύξει μια ολοκληρωμένη και προσαρμόσιμη μέθοδο για την ανάλυση της ανατροφοδότησης πελατων. Τα μεθοδολογικά βήματα που περιλαμβάνονται στο εν λόγω σύστημα είναι τα εξής:Βήμα 1 – Η προ-επεξεργασία των δεδομένων σε μορφή κειμένου διασφαλίζει ότι ο όγκος των ακατέργαστων/αδόμητων δεδομένων που βρίσκονται σε διαδικτυακές κριτικές πελατών, είναι κατάλληλα προετοιμασμένος και έτοιμος για ανάλυση. Κάποιες από τις βασικές δραστηριότητες σε αυτή τη φάση είναι οι παρακάτω: 1.Καθαρισμός δεδομένων: Αφαίρεση θορύβου, άσχετων πληροφοριών και διπλότυπου περιεχομένου από κριτικές πελατών. 2.Tokenisation: Διαχωρισμός κειμένου σε μεμονωμένες οντότητες (λέξεις ή φράσεις) για ευκολότερη ανάλυση. 3.Λημματοποίηση (Lemmatisation): Μετατροπή λέξεων στις ρίζες τους, επιτρέποντας την τυποποίηση σε όλο το σύνολο δεδομένων. Με την εκτέλεση αυτών των εργασιών, τα δεδομένα σε μορφή κειμένου δομούνται και απλοποιούνται, θέτοντας τις βάσεις για την εφαρμογή πιο προηγμένων αναλυτικών τεχνικών στη συνέχεια. Βήμα 2 – Η ανάλυση συναισθήματος βάσει χαρακτηριστικών (Aspect-based Sentiment Analysis -ABSA) αποτελεί ένα κρίσιμο στοιχείο του συστήματος, που επιτρέπει τη λεπτομερή ανάλυση των σχολίων των πελατών. Αντί να γενικεύει τα συναισθήματα ανά σχόλιο, η ABSA εστιάζει σε συγκεκριμένα χαρακτηριστικά των προϊόντων ή υπηρεσιών (π.χ. ποιότητα, τιμή, εξυπηρέτηση πελατών), προσδιορίζοντας το συναίσθημα που σχετίζεται με καθένα από αυτά. Στο προτεινόμενο σύστημα εφαρμόζεται μια νέα προσέγγιση, που είναι η εξής: 1.Εξαγωγή χαρακτηριστικών: Χρησιμοποιώντας μεγάλα γλωσσικά μοντέλα (Large Language Models – LLM), η μέθοδος εξάγει τα χαρακτηριστικά που αφορούν συγκεκριμένα προϊόντα ή υπηρεσίες που αναφέρουν οι πελάτες στις κριτικές τους. 2.Ταξινόμηση κριτικών: Η μέθοδος ταξινομεί προτάσεις ή τμήματα κριτικών με βάση το σχετικό χαρακτηριστικό. Αυτή η ταξινόμηση είναι απαραίτητη για τον προσδιορισμό συναισθημάτων που σχετίζονται με συγκεκριμένα χαρακτηριστικά. 3.Πίνακας συναισθημάτων: Το αποτέλεσμα της μεθόδου είναι ένας δομημένος Πίνακας Συναισθημάτων (Sentiment Table) που εκχωρεί μια βαθμολογία συναισθημάτων σε κάθε χαρακτηριστικό που έχει εντοπιστεί, για κάθε κριτική πελάτη. Αυτός ο πίνακας παρέχει μια ολοκληρωμένη επισκόπηση των συναισθημάτων των πελατών σχετικά με διάφορα χαρακτηριστικά της υπό εξέτασης υπηρεσίας ή προϊόντος, δημιουργώντας μια χρήσιμη βάση δεδομένων για τα επακόλουθα βήματα. Βήμα 3 – Η μέθοδος MUSAsent αποτελεί μια νέα επέκταση της Πολυκριτήριας Ανάλυσης Ικανοποίησης (MUlticriteria Satisfaction Analysis – MUSA), κατάλληλα σχεδιασμένη για την ενσωμάτωση πληροφοριών από δεδομένα σε μορφή κειμένου, εκτός των αριθμητικών αξιολογήσεων ικανοποίησης πελατών. Συγκεκριμένα, οι βαθμολογίες συναισθημάτων από τον Πίνακα Συναισθημάτων ενσωματώνονται στο μαθηματικό μοντέλο της MUSA, επιτρέποντας μια πολυδιάστατη ανάλυση. Βήμα 4 – Η Ανάλυση γνώμης (OA) βασίζεται στα αποτελέσματα των προηγούμενων βημάτων (ABSA και MUSAsent) για να κατασκευάσει, μεταξύ άλλων, δείκτες ανάλυσης ικανοποίησης πελατών βάσει συναισθήματος, διαγράμματα διπλής σημαντικότητας και διαγράμματα διακύμανσης ικανοποίησης πελατών ανά χαρακτηριστικό. Βήμα 5 – Το τελικό βήμα του συστήματος χρησιμοποιεί την Ποιοτική Συγκριτική Ανάλυση με χρήση ασαφών συνόλων (fsQCA) για να καθορίσει τις απαραίτητες και ικανές συνθήκες για την επίτευξη της ικανοποίησης των πελατών. Η fsQCA μετατρέπει ουσιαστικά τη γνώση που αποκτήθηκε από τα προηγούμενα βήματα σε οδηγίες δράσης, οι οποίες μπορούν να χρησιμοποιηθούν για την καθοδήγηση της στρατηγικής λήψης αποφάσεων. Τα βασικά μέρη του προτεινόμενου συστήματος ανάλυσης ανατροφοδότησης πελατών ελέγχθηκαν με εξειδικευμένα πειράματα και ολόκληρο το σύστημα εφαρμόστηκε σε δύο μελέτες περιπτώσεων. Τα αποτελέσματα απέδωσαν σημαντικά ευρήματα, αποδεικνύοντας την αποτελεσματικότητα του συστήματος στην παροχή αξιόπιστων πληροφοριών σχετικά με την ικανοποίηση των πελατών.Πιο συγκεκριμένα, στο πρώτο πείραμα ο στόχος ήταν να αξιολογηθεί η αποτελεσματικότητα της καινούργιας προσέγγισης Ανάλυσης συναισθήματος βάσει χαρακτηριστικών (ABSA) στον ακριβή προσδιορισμό και την ταξινόμηση των συναισθημάτων των πελατών που σχετίζονται με συγκεκριμένες υπηρεσίες ή χαρακτηριστικά προϊόντος. Χρησιμοποιώντας ένα μεγάλο σύνολο δεδομένων διαδικτυακών κριτικών, η μέθοδος εξήγαγε με επιτυχία διαφορετικά χαρακτηριστικά, εκχωρώντας βαθμολογίες συναισθήματος σε καθεμία. Τα αποτελέσματα έδειξαν ότι η μέθοδος απέδωσε με υψηλή ακρίβεια και ανάκληση τα χαρακτηριστικά που υπήρχαν στο σύνολο των δεδομένων. Το δεύτερο πείραμα είχε ως στόχο να συγκρίνει τη νέα μέθοδο MUSAsent, η οποία ενσωματώνει την ανάλυση συναισθήματος, με την κλασσική MUSA που χρησιμοποιεί μόνο αριθμητικές αξιολογήσεις. Η ανάλυση περιλάμβανε την εφαρμογή και των δύο μοντέλων σε δέκα διαφορετικά σύνολα δεδομένων, που εκπροσωπούσαν διάφορους τομείς υπηρεσιών, όπως αεροπορικές εταιρείες, lounge αεροδρομίων, αεροδρόμια και ξενοδοχεία. Αυτά τα σύνολα δεδομένων επιλέχθηκαν για την ποικιλομορφία τους και την πλούσια ανατροφοδότηση που περιείχαν, παρέχοντας μια ευρεία βάση για την αξιολόγηση των μοντέλων. Η απόδοση κάθε μοντέλου αξιολογήθηκε με δύο βασικούς δείκτες: τον Μέσο Δείκτη Προσαρμογής (Average Fitting Index – AFI), ο οποίος μετρά το πόσο καλά ταιριάζει το μοντέλο στα δεδομένα, και τον Μέσο Δείκτη Σταθερότητας (Average Stability Index – ASI), ο οποίος αξιολογεί τη σταθερότητα των αποτελεσμάτων. Τα αποτελέσματα έδειξαν ότι η MUSAsent παρουσίασε σημαντική βελτίωση και στους δύο δείκτες, τονίζοντας την ανθεκτικότητά της και υποδηλώνοντας ότι η προτεινόμενη επέκταση παρέχει πιο σταθερά και αξιόπιστα αποτελέσματα. Στο τρίτο πείραμα, ο στόχος ήταν να αξιολογηθεί η απόδοση της fsQCA χρησιμοποιώντας ως είσοδο τις σημαντικότητες των επιπέδων ικανοποίησης κάθε κριτηρίου σε σύγκριση με τα αρχικά δεδομένα από τις αξιολογήσεις των πελατών. Τα αποτελέσματα έδειξαν ότι η πρώτη προσέγγιση προσέφερε μεγαλύτερη λεπτομέρεια και ακρίβεια στην κατανόηση των παραγόντων που οδηγούν στην ικανοποίηση των πελατών, επιτρέποντας την εξαγωγή πιο συγκεκριμένων και χρήσιμων συμπερασμάτων.Το πειραματικό μέρος αυτής της διατριβής ολοκληρώθηκε με δύο πρακτικές εφαρμογές στους τομείς των αεροπορικών εταιρειών και φιλοξενίας, αντίστοιχα, που παρουσίασαν το πλήρες φάσμα των δυνατοτήτων του προτεινόμενου συστήματος σε πραγματικές συνθήκες. Αυτές οι εφαρμογές σχεδιάστηκαν για να δοκιμάσουν τη χρησιμότητα του συστήματος στην ανάλυση της ικανοποίησης των πελατών και την εξαγωγή εφαρμόσιμων συμπερασμάτων που θα μπορούσαν να υποστηρίξουν τη στρατηγική λήψη αποφάσεων. Μέσω αυτών των εφαρμογών, το μοντέλο απέδειξε την ικανότητά του να συλλαμβάνει και να ερμηνεύει με ακρίβεια τα συναισθήματα των πελατών, προσφέροντας πολύτιμες πληροφορίες που μπορούν να εφαρμοστούν άμεσα για τη βελτίωση της ποιότητας των υπηρεσιών και της εμπειρίας των πελατών. Τα ευρήματα αυτής της έρευνας παρέχουν σημαντική συμβολή τόσο στην ακαδημαϊκή κατανόηση της ανάλυσης ικανοποίησης πελατών όσο και στις πρακτικές εφαρμογές της σε όλους τους κλάδους, ιδιαίτερα σε αυτούς που εξαρτώνται σε μεγάλο βαθμό από την ανατροφοδότηση πελατών. Σε θεωρητικό επίπεδο, η έρευνα επεκτείνει το υπάρχον γνωστικό πεδίο για την ικανοποίηση πελατών, εισάγοντας την MUSAsent, ένα καινοτόμο μοντέλο που ενσωματώνει την Ανάλυση Συναισθήματος στο βασικό πλαίσιο της Πολυκριτήριας Ανάλυσης Ικανοποίησης (MUSA). Αυτή η ενσωμάτωση επιτρέπει τη συνδυαστική ανάλυση τόσο ποσοτικών δεδομένων όσο και κειμενικής ανατροφοδότησης, παρέχοντας μια πιο ολοκληρωμένη και λεπτομερή απεικόνιση της ικανοποίησης των πελατών. Επιπλέον, η έρευνα εισάγει και άλλες καινοτόμες προσεγγίσεις, όπως την εξόρυξη γνώμης (opinion mining), η οποία επιτρέπει τη δημιουργία πινάκων συναισθήματος (sentiment tables), οι οποίοι συνοψίζουν τα συναισθήματα των πελατών για κάθε χαρακτηριστικό των υπηρεσιών ή προϊόντων, καθώς και δεικτών ικανοποίησης που βασίζονται αποκλειστικά σε ποιοτικά δεδομένα. Τέλος, η έρευνα επίσης προτείνει την εφαρμογή της fsQCA για την εξαγωγή αιτιακών σχέσεων και κανόνων που συμβάλλουν στην κατανόηση του πώς συνδυάζονται διαφορετικοί παράγοντες για να επηρεάσουν την ικανοποίηση των πελατών.Σε πρακτικό επίπεδο, η έρευνα παρέχει στις επιχειρήσεις ένα ισχυρό εργαλείο για την ανάλυση μεγάλων ποσοτήτων ανατροφοδότησης πελατών από διάφορες διαδικτυακές πλατφόρμες. Το σύστημα προσφέρει χρήσιμα και εφαρμόσιμα αποτελέσματα, που επιτρέπουν στις επιχειρήσεις να εντοπίσουν κρίσιμες περιοχές βελτίωσης και να αναπτύξουν στρατηγικές για την ενίσχυση της ικανοποίησης των πελατών τους. Η εφαρμογή του συστήματος σε διαφορετικούς κλάδους απέδειξε την ευελιξία και την αποτελεσματικότητά του σε πραγματικές συνθήκες, αναδεικνύοντας τις δυνατότητες βελτίωσης των υπηρεσιών και της εμπειρίας των πελατών σε διαφορετικά επιχειρηματικά πλαίσια.Από τα ευρήματα αυτής της διατριβής προκύπτουν πολλές ευκαιρίες για μελλοντική έρευνα, όπως για παράδειγμα η εφαρμογή του συστήματος σε άλλους κλάδους, ιδιαίτερα σε αυτούς με μικρότερο όγκο σχολίων πελατών, όπως οι τομείς B2B. Αυτό θα βοηθούσε στην αξιολόγηση της ευελιξίας του συστήματος και της ικανότητάς του να προσαρμόζεται σε διαφορετικά επιχειρηματικά πλαίσια. Επίσης, η ανάπτυξη εφαρμογών του συστήματος σε πραγματικό χρόνο θα επέτρεπε στις επιχειρήσεις να κάνουν ταχύτερες προσαρμογές με βάση το εξελισσόμενο συναίσθημα των πελατών. Αυτό θα ήταν ιδιαίτερα ωφέλιμο σε βιομηχανίες με γρήγορους ρυθμούς όπου οι προσδοκίες και οι προτιμήσεις των πελατών αλλάζουν γρήγορα. Τέλος, περαιτέρω έρευνα θα μπορούσε να επικεντρωθεί στη βελτίωση της συνιστώσας της ανάλυσης συναισθήματος του συστήματος, ιδιαίτερα στον χειρισμό διφορούμενων ή περίπλοκων συναισθημάτων. Αυτό θα μπορούσε να περιλαμβάνει την εκπαίδευση πιο προηγμένων μοντέλων σε μεγαλύτερα σύνολα δεδομένων για την αποτύπωση λεπτών λεπτοτήτων στα σχόλια των πελατών.