Real-time pattern recognition in data streams in the internet of things

Abstract

The rapid growth of the Internet of Things, coupled with blockchain-based and traditional financial transactions and social networks, has led to the generation of vast data streams, which include an unprecedented amount of information that are destined to be lost to the oblivion unless they are analyzed and processed optimally, without the hard requirement for them to be stored. This dissertation addresses the challenges and opportunities associated with analyzing such data streams, emphasizing the need for methodologies that can handle continuous data influx without relying on vast amounts of stored historical data. Traditional machine learning algorithms often fall short in this context due to their need for multiple data passes over the whole dataset, inability to adapt to changes in the statistical properties of the data streams and high computational demands. This work explores the adaptation of various traditional clustering and classification algorithms for real-time data stream analysis, through the patented BEReTiC methodology. BEReTiC is a real-time clustering and classification algorithm multiplexer and adapter, designed to adapt to the unique properties of data streams, such as concept drift and evolution. The algorithm CluNN, a novel patented clustering algorithm, that has been specifically designed for data stream clustering is also presented. The performance and the accuracy of the methodology and the algorithm is assessed through qualitative and empirical evaluations across multiple real-world domains, including applications characterized by data streams with unknown or volatile distributions and applications whose data streams abide by more predictable distributions. The results demonstrate that BEReTiC and CluNN enable timely, adaptive and accurate pattern recognition in both volatile and deterministic environments, addressing critical challenges in real-time data stream analysis. These contributions pave the way for modular, efficient, and practical integration of pattern recognition capabilities in real-world IoT systems.

Η ταχεία ανάπτυξη του Διαδικτύου των Πραγμάτων (IoT), σε συνδυασμό με τις χρηματοοικονομικές συναλλαγές που βασίζονται σε τεχνολογία blockchain και τα παραδοσιακά οικονομικά δίκτυα, καθώς και τα κοινωνικά δίκτυα, έχει οδηγήσει στη δημιουργία τεράστιων ροών δεδομένων. Αυτές περιέχουν μια πρωτοφανή ποσότητα πληροφοριών που κινδυνεύουν να χαθούν, εκτός αν αναλυθούν και επεξεργαστούν, χωρίς την αυστηρή απαίτηση αποθήκευσής τους. Η παρούσα διατριβή εξετάζει τις προκλήσεις και τις ευκαιρίες που συνδέονται με την ανάλυση τέτοιων ροών δεδομένων, τονίζοντας την ανάγκη για μεθοδολογίες που μπορούν να διαχειριστούν τη συνεχόμενη εισροή δεδομένων χωρίς να βασίζονται σε μεγάλους όγκους αποθηκευμένων ιστορικών δεδομένων. Οι παραδοσιακοί αλγόριθμοι μηχανικής μάθησης αποτυγχάνουν σε αυτό το πλαίσιο λόγω της ανάγκης τους για πολλαπλές διαβάσεις των δεδομένων, της αδυναμίας προσαρμογής σε μεταβολές των στατιστικών ιδιοτήτων των ροών δεδομένων και των υψηλών υπολογιστικών απαιτήσεων. Η εργασία αυτή ερευνά την προσαρμογή διάφορων αλγορίθμων ομαδοποίησης και ταξινόμησης για την ανάλυση ροών δεδομένων σε πραγματικό χρόνο, μέσω της μεθοδολογίας BEReTiC, που έχει κατοχύρωθεί με δίπλωμα ευρεσιτεχνίας. Το BEReTiC αποτελεί έναν πολυπλέκτη και προσαρμογέα αλγορίθμων ομαδοποίησης και ταξινόμησης σε πραγματικό χρόνο, σχεδιασμένο να αντιμετωπίζει τις μοναδικές ιδιότητες των ροών δεδομένων, όπως το concept drift και evolution. Παρουσιάζεται ο αλγόριθμος CluNN, ένας καινοτόμος κατοχυρωμένος αλγόριθμος ομαδοποίησης, σχεδιασμένος για ομαδοποίηση ροών δεδομένων. Η απόδοση και η ακρίβεια της μεθοδολογίας και του αλγορίθμου αξιολογούνται μέσω ποιοτικών και εμπειρικών αξιολογήσεων σε πολλαπλούς πραγματικούς τομείς εφαρμογής, συμπεριλαμβανομένων εφαρμογών με ροές δεδομένων άγνωστης ή ασταθούς κατανομής, καθώς και εφαρμογών των οποίων οι ροές δεδομένων υπακούουν σε πιο προβλέψιμες κατανομές. Τα αποτελέσματα δείχνουν ότι το BEReTiC και ο CluNN επιτρέπουν την έγκαιρη, προσαρμοστική και ακριβή αναγνώριση προτύπων τόσο σε ασταθείς όσο και σε ντετερμινιστικά περιβάλλοντα, αντιμετωπίζοντας κρίσιμες προκλήσεις στην ανάλυση ροών δεδομένων σε πραγματικό χρόνο. Οι συνεισφορές αυτές ανοίγουν τον δρόμο για μια αποτελεσματική και πρακτική ενσωμάτωση δυνατοτήτων αναγνώρισης προτύπων σε πραγματικά συστήματα IoT.