Εξαγωγή, ανάλυση και απεικόνιση ποιοτικών πληροφοριών από αδόμητα επιχειρηματικά δεδομένα

Abstract

One of the open problems that the academic community is trying to solve and that plagues the commercial and politics sector, is the analysis of unstructured data. From images and video, to sound and text, unstructured data are the majority compared to structured. Despite that fact and even though unstructured data contain a wealth of information, contrary to structured data, the extraction of said information with accuracy and meaningfulness, is still a challenge in the context of impactful decision making.This thesis focuses on text analysis, based on the emotions that underlie it. The presented methodological approach gives the ability to spot emotional patterns that the author is trying to evoke and then, attempts to classify the documents of the corpus, based on their emotion vectors. This method is effective regardless of the context (news articles, marketing, politics, etc) as well as the length of the document.For this research we use a lexicon that allows to identify the emotions from words, and also various unsupervised machine learning models. Specifically, LDA (Latent Dirichlet Allocation) is used, which we found out that in many occasions can produce “distilled emotions”, as we shall see. We also use Mahalanobis, One Class SVM and Isolation Forest, in an effort to identify anomalous documents. The application of the above is performed on a complex dataset, that consists mainly of news articles and then, by ISIS’ propaganda texts. The propaganda texts are included because emotions are a key pillar of an effective propaganda. The state-of-the-art research addresses that extensively, as well as other elements of propaganda along the decades. It is worth noting that the findings of the analysis suggest the existence of common practices between western news agencies and terrorist propaganda, with important similarities in the emotions that the authors are trying to evoke, from both sides.

Ένα από τα ανοικτά προβλήματα που προσπαθεί να επιλύσει η ακαδημαϊκή κοινότητα και που μαστίζει τον τομέα του εμπορίου και της πολιτικής, είναι η ανάλυση αδόμητων δεδομένων. Από εικόνες και βίντεο, έως ήχο και κείμενο, τα αδόμητα δεδομένα αποτελούν πλειοψηφία έναντι των δομημένων. Παρά το γεγονός αυτό και ενώ τα αδόμητα δεδομένα περιέχουν σημαντικό πλούτο πληροφορίας συγκριτικά με τα δομημένα, η εξαγωγή αυτής με ακρίβεια και ουσία, παραμένει πρόκληση για την ενημερωμένη και επιδραστική λήψη αποφάσεων. Η παρούσα διατριβή εστιάζει στην ανάλυση κειμένου, βασιζόμενη στο συναίσθημα που εμπεριέχεται σε αυτό. Η μεθοδολογική προσέγγιση που παρουσιάζεται, δίνει τη δυνατότητα εντοπισμού των συναισθηματικών κανονικοτήτων που προσπαθεί να εγείρει ο συγγραφέας και ύστερα, επιχειρεί την κατηγοριοποίηση των κειμένων, με βάση τα συναισθήματα ως διανυσματικές συνιστώσες. Η μέθοδος παραμένει εξίσου αποτελεσματική ανεξαρτήτως περιεχομένου (ειδησιογραφία, marketing, πολιτική και λοιπά) και μήκους κειμένου. Στα πλαίσια της έρευνας χρησιμοποιείται λεξικό για τον εντοπισμό των συναισθημάτων των λέξεων, καθώς επίσης και διάφορα μοντέλα μη εποπτευόμενης μηχανικής μάθησης. Συγκεκριμένα γίνεται χρήση της LDA (Latent Dirichlet Allocation), η οποία σε πολλές περιπτώσεις ανακαλύψαμε ότι παράγει «συναισθηματικό απόσταγμα», όπως θα δούμε. Επίσης, γίνεται χρήση των μοντέλων Mahalanobis, One Class SVM και Isolation Forest, με σκοπό τον εντοπισμό ακραίων κειμένων (anomalies). Η εφαρμογή των προαναφερθέντων πραγματοποιείται επί ενός περίπλοκου συνόλου δεδομένων, το οποίο αποτελείται κατά κύριο μέρος από ειδησεογραφικά άρθρα και κατά δεύτερο λόγο, από προπαγανδιστικά κείμενα τους Ισλαμικού Χαλιφάτου (ISIS). Τα προπαγανδιστικά κείμενα συμπεριλαμβάνονται, καθώς το συναίσθημα αποτελεί σημαντικό πυλώνα μιας αποτελεσματικής προπαγάνδας. Η βιβλιογραφική έρευνα πεδίου περιέχει εκτενή αναφορά σε αυτό, καθώς και άλλα συστατικά στοιχεία της προπαγάνδας ανά τις δεκαετίες. Είναι άξιο αναφοράς ότι τα ευρήματα της ανάλυσης, υποδεικνύουν την ύπαρξη κοινών πρακτικών μεταξύ της δυτικής ειδησιογραφίας και της τρομοκρατικής προπαγάνδας, με σημαντικές ομοιότητες στα συναισθήματα που οι συγγραφείς των δύο πλευρών προσπαθούν να εγείρουν.