Αυτόματα συστήματα αντίληψης και εκμάθησης ανθρώπινων δράσεων

Abstract

The study of human activity is a subject of great interest to the scientific community. The primary objective of this dissertation is to develop novel automatic systems with the ability to perceive and acquire knowledge regarding diverse facets of human behavior. The dissertation is structured into two sections, which are primarily distinguished by the method of perception employed; in the initial section, actions are perceived through visual sensors while in the subsequent section, non-visual biometric sensors are employed. In the first section, we explore the development of intelligent action recognition systems for children during their interactions with robots. Initially, we study the development of a robust integrated system for child-robot interactions with multiple perceptual capabilities, such as action recognition, speech recognition, speaker localization and object tracking, through multiple cameras and leveraging multiple robots. We collect and create a large database of children's activities, including gestures, generalized body movements, speech, expression of emotions, etc., both individually and during interactions. We evaluated the system both in terms of the performance of the recognition modules and the overall interaction of children with robots. Subsequently, we developed a lightweight system for designing and executing educational scenarios based on visual information, for use in more open environments, such as classrooms. During the development of the above systems, we conducted extensive research on visual action and gesture recognition of children activities. We highlighted the need for recognition systems specifically adapted to children's data, assessed the impact of employing both multiple and single recording perspectives on the system's efficiency in recognition, and experimented with incremental learning methods for easier expansion of action recognition capabilities. In the second section, we delve into the recognition of activity through the use of biometrics from smart wearable sensors. Wearable sensors such as smartwatches are becoming increasingly more popular, creating exciting new opportunities for the design of unique human activity recognition systems. Thus, we explore the use of signals collected from smartwatches, such as acceleration, angular velocity, and heart rate, to study the users’ digital phenotypes, i.e., digital profiles that can reflect the characteristic patterns of their daily lives. These patterns are especially useful since they allow us to detect significant deviations in the daily life of a user. Initially we used comprehensive statistical analysis to compare the differences in digital representations-patterns between a control sample and a sample of individuals with psychiatric disorders. We developed an intelligent identification-classification system based on their digital patterns, thoroughly investigating the system's individual attributes. We then addressed the problem of detecting psychotic relapses that often occur in individuals with psychotic disorders. Specifically, we treated the problem as a misclassification problem, assuming that during a relapse of the disorder significant changes in the digital pattern could be observed, thus reducing the probability of identifying the respective user during relapse periods or shortly before them. Finally, we extended the relapse detection system by combining anomaly detection techniques with the techniques we developed for user identification to achieve improved and robust performance in estimating relapses.

Η μελέτη της ανθρώπινης δραστηριότητας έχει απασχολήσει και συνεχίζει να απασχολεί πολυπλεύρως την επιστημονική κοινότητα. Στην παρούσα διατριβή εστιάζουμε στην ανάπτυξη καινοτόμων αυτόματων συστημάτων ικανών να αντιληφθούν και να μάθουν τις διαφορετικές εκφάνσεις των ανθρώπινων δράσεων. Η διατριβή χωρίζεται σε δύο μέρη που διαφοροποιούνται κύρια από τον τρόπο αντίληψης των δράσεων. Στο πρώτος μέρος η καταγραφή των δράσεων γίνεται με οπτικούς αισθητήρες ενώ στο δεύτερο, με μη οπτικούς αισθητήρες καταγραφής βιοσημάτων.Στο πρώτο μέρος της διατριβής ερευνούμε την ανάπτυξη ευφυών συστημάτων αναγνώρισης δράσεων παιδιών κατά τη διάρκεια αλληλεπιδράσεων τους με ρομπότ. Αρχικά μελετήσαμε την ανάπτυξη ενός διευρυμένου συστήματος αλληλεπίδρασης παιδιών με ρομπότ με πολλαπλές αντιληπτικές ικανότητες, λ.χ. αναγνώριση δράσεων, ομιλίας, εντοπισμού ομιλητών και αντικειμένων, μέσω πολλαπλών καμερών και δυνατότητα χρήσης και ενσωμάτωσης πολλαπλών ρομπότ σε ένα ενιαίο σύστημα. Συλλέξαμε και δημιουργήσαμε μια μεγάλη βάση παιδικών δραστηριοτήτων που περιλαμβάνει χειρονομίες, γενικευμένες κινήσεις του σώματος, ομιλία, έκφραση συναισθημάτων κ.α. μεμονωμένα αλλά και κατά τη διάρκεια των αλληλεπιδράσεων. Αξιολογήσαμε το σύστημα τόσο ως προς την ικανότητα των μονάδων αναγνώρισης όσο και ως προς την συνολική αλληλεπίδραση των παιδιών με τα ρομπότ. Στη συνέχεια αναπτύξαμε ένα πιο ελαφρύ σύστημα για τη σχεδίαση και εκτέλεση εκπαιδευτικών σεναρίων με βάση την οπτική πληροφορία για χρήση σε πιο ελεύθερα περιβάλλοντα, όπως η σχολική αίθουσα. Κατά την ανάπτυξη των παραπάνω συστημάτων, κάναμε εκτενή έρευνα ως προς την οπτική αναγνώριση των δράσεων και των χειρονομιών των παιδιών. Αναδείξαμε την ανάγκη ύπαρξης συστημάτων αναγνώρισης ειδικά προσαρμοσμένων σε δεδομένα παιδιών, μελετήσαμε την απόδοση των συστημάτων κατά τη χρήση πολλαπλών ή/και μεμονωμένων όψεων καταγραφής ενώ μελετήσαμε και εφαρμόσαμε μεθόδους επαυξημένης μάθησης για εύκολη επέκταση των δράσεων αναγνώρισης. Στο δεύτερο μέρος της διατριβής ασχολούμαστε με την αναγνώριση δράσεων μέσω της χρήσης βιοσημάτων από έξυπνους φορετούς αισθητήρες, η χρήση των οποίων διευρύνεται καθημερινά και παρέχει νέες δυνατότητες για ανάπτυξη καινοτόμων συστημάτων αναγνώρισης της ανθρώπινης δραστηριότητας. Έτσι, ερευνούμε την αξιοποίηση σημάτων που συλλέγονται από έξυπνα ρολόγια, λ.χ. επιτάχυνσης, γωνιακής ταχύτητας, καρδιακού ρυθμού, ώστε να μελετήσουμε τη δυνατότητα δημιουργίας ψηφιακών φαινοτύπων των χρηστών, δηλαδή ψηφιακών προφίλ που μπορούν να αποδώσουν τα χαρακτηριστικά μοτίβα της καθημερινότητάς τους αλλά και να αποκαλύψουν σημαντικές μεταβολές από αυτά. Αρχικά, μελετήσαμε τη διαφορά των ψηφιακών αναπαραστάσεων-φαινοτύπων μεταξύ ενός δείγματος ελέγχου και ενός δείγματος ασθενών με ψυχωτικές διαταραχές μέσω εκτεταμένης στατιστικής ανάλυσης και αναπτύξαμε ένα ευφυές σύστημα ταυτοποίησης-ταξινόμησης του κάθε χρήστη με βάση τον ψηφιακό του φαινότυπο ερευνώντας εκτενώς τις επιμέρους παραμέτρους του συστήματος. Στη συνέχεια προσεγγίσαμε το πρόβλημα του εντοπισμού των ψυχωτικών υποτροπών που παρουσιάζονται συχνά σε άτομα με ψυχωτικές διαταραχές. Συγκεκριμένα, αντιμετωπίσαμε το πρόβλημα ως ένα πρόβλημα λανθασμένης ταξινόμησης υποθέτοντας πως κατά τη διάρκεια μιας υποτροπής της ασθένειας είναι δυνατόν να παρατηρήσουμε σημαντικές μεταβολές στον ψηφιακό φαινότυπο και άρα να μειώνεται η πιθανότητα ταυτοποίησης του εκάστοτε χρήστη σε περιόδους υποτροπών ή λίγο πριν από αυτές. Τέλος, επεκτείναμε το σύστημα εντοπισμού υποτροπών συνδυάζοντας τεχνικές εντοπισμού ανωμαλιών με τις τεχνικές που αναπτύξαμε για την ταυτοποίηση των χρηστών ώστε να επιτύχουμε βελτιωμένη απόδοση στην εκτίμηση της φάσης διαταραχής των ασθενών.