Μέθοδοι σταδιακής μηχανικής μάθησης σε χρονικώς μεταβαλλόμενα προβλήματα: εφαρμογές αναγνώρισης προτύπων, χρονοσειρών και συστημάτων για λήψη αποφάσεων σε πραγματικό χρόνο

Abstract

The thesis proposes pattern recognition techniques based on machine learning methods and automated data mining; the application domain is systems that evolve over time. It describes algorithms and resolution strategies that combine and exploit features from established methodologies developed in the framework of computational and statistical learning. The attributes of the proposed identification and recognition techniques are: 1) low time-space complexity, 2) incremental and fast learning, 3) real-time response, 4) application independence, 5) simplicity, 6) automated operation, 7) scalability, and 8) distributed computing. After the application of these techniques, the produced solutions are not proved to be the optimal ones; nevertheless they are sufficient and functional. The empirical verification is implemented in real-world problems of different complexity. These problems can be represented by time evolving systems and emerge from the fields of environmental parameters forecasting, voice/speech and image recognition, and video-based content extraction such as human pose recovery and human action recognition. It is known that time evolution occurs in a variety of problems encountered in physics, chemistry, biology, economy and more; thus, the proposed recognition schemes present a wide range of applications. Additionally, the main trait of incremental learning algorithms is the integration of new information into the knowledge base without the need for the model’s retraining. This attribute is applicable to domains where the data flow is continuous such as autonomous robots learning, information retrieval on the Web, human-machine interaction, medical monitoring devices, error diagnosis, security systems, predictive models for natural phenomena and more. The difficulty in defining the analytical form of functions that describe the aforementioned problems, the high dimensionality of data sets, the intervals of intense discontinuity and the presence of high noise make impossible the application of the differential calculus and classical linear or nonlinear analysis. This research work demonstrates experimentally that the adoption of techniques which combine the regression with continuous clustering and classification, allows the handling of non- well defined problems, especially in those cases where the conditions that lead to the convergence to the optimal solution cannot be verified in real world.

Η παρούσα διατριβή προτείνει τεχνικές αναγνώρισης προτύπων/μορφωμάτων που βασίζονται σε μεθόδους μηχανικής μάθησης και αυτόματης εξόρυξης δεδομένων, με αντικείμενο εφαρμογής τα συστήματα που εξελίσσονται στο χρόνο. Περιγράφονται αλγόριθμοι και στρατηγικές επίλυσης που συνδυάζουν και αξιοποιούν χαρακτηριστικά από καθιερωμένες μεθοδολογίες που αναπτύχθηκαν στα πλαίσια της υπολογιστικής και στατιστικής μάθησης. Οι ιδιότητες με τις οποίες εφοδιάζονται οι προτεινόμενες τεχνικές αναγνώρισης είναι: 1) χαμηλή χωρο-χρονική πολυπλοκότητα, 2) σταδιακή και ταχεία μάθηση, 3) απόκριση σε πραγματικό χρόνο, 4) ανεξαρτησία από το συγκεκριμένο πεδίο εφαρμογής τους, 5) απλότητα στη χρήση, 6) αυτοματοποιημένη λειτουργία, 7) επεκτασιμότητα, και 8) δυνατότητα κατανεμημένης επεξεργασίας. Οι λύσεις που προκύπτουν μετά την εφαρμογή των εν λόγω τεχνικών δε βεβαιώνεται ότι είναι οι βέλτιστες, ωστόσο είναι επαρκείς και λειτουργικές. Η εμπειρική επαλήθευση υλοποιείται σε διαφορετικής πολυπλοκότητας προβλήματα του πραγματικού κόσμου, τα οποία δύναται ν' αναπαρασταθούν από χρονικώς εξελισσόμενα συστήματα. Τα προβλήματα που αντιμετωπίστηκαν προέρχονται από το χώρο της πρόβλεψης περιβαλλοντικών παραμέτρων, από τους χώρους αναγνώρισης φωνής/ομιλίας και εικόνας, καθώς και από το πεδίο αναγνώρισης περιεχομένου μέσω οπτικών εγγραφών (video), όπως είναι η ανάκτηση του ανθρώπινου σώματος και η αναγνώριση ανθρώπινης δραστηριότητας. Όπως είναι γνωστό, η χρονική εξέλιξη συναντάται σε μια πληθώρα προβλημάτων που εμφανίζονται στη φυσική, στη χημεία, στη βιολογία, στην οικονομία κα., με αποτέλεσμα οι διατάξεις αναγνώρισης που προτείνονται να παρουσιάζουν ένα ευρύ πεδίο εφαρμογών. Επιπρόσθετα, το κύριο χαρακτηριστικό των αλγορίθμων προοδευτικής μάθησης και αναγνώρισης είναι η ενσωμάτωση καινούργιας πληροφορίας στην υπάρχουσα γνωσιακή δεξαμενή επεξεργασμένων δεδομένων όποτε αυτή είναι διαθέσιμη, αποφεύγοντας έτσι το σκόπελο της επανεκπαίδευσης. Αυτή η ιδιότητα βρίσκει εφαρμογή σε προβλήματα όπου υπάρχει συνεχής ροή πληροφορίας, όπως στην εκμάθηση των αυτόνομων ρομπότ, στην ανάκτηση πληροφοριών στον Παγκόσμιο Ιστό, στην αλληλεπίδραση ανθρώπου-μηχανής, σε συσκευές ιατρικής παρακολούθησης, στη διάγνωση σφαλμάτων, σε συστήματα ασφαλείας, σε προγνωστικά μοντέλα φυσικών φαινομένων κα. Η δυσκολία ορισμού της αναλυτικής μορφής των συναρτήσεων που περιγράφουν τα εν λόγω προβλήματα, η υψηλή διαστατικότητα των συνόλων δεδομένων, τα διαστήματα έντονης ασυνέχειας, καθώς και η ύπαρξη υψηλού θορύβου καθιστούν ανέφικτη την εφαρμογή του διαφορικού λογισμού και της κλασικής γραμμικής ή μη-γραμμικής ανάλυσης. Στην παρούσα ερευνητική εργασία αποδεικνύεται πειραματικά ότι η υιοθέτηση τεχνικών που συνδυάζουν την παλινδρόμηση με τη συνεχή ομαδοποίηση και ταξινόμηση, επιτρέπει το χειρισμό μη-καλώς ορισμένων προβλημάτων, ειδικά εκείνων των περιπτώσεων όπου οι συνθήκες που διαμορφώνουν τη σύγκλιση στη βέλτιστη λύση δεν μπορούν να επαληθευτούν στο φυσικό κόσμο.