FIRMA: a development framework for elderly-friendly interactive multimodal applications for assistive robots

Abstract

The continuous growth of the older population in Europe and the progressive ageing of society worldwide bring about the need for new technological solutions for improving the health, independent living, quality of life and active ageing of older citizens in the Information Society. Quality of life and active aging of elderly people is becoming an essential objective for today’s European societies. In this scope, the term “Ambient Assisted Living” (AAL) is used to refer to the meaningful usage of information and communication technologies, in a way that they can improve the quality of life of older people by offering them safety and comfort to live longer at home and prologue their independence. Many studies have been carried out about empowering the elderly in AAL environments, concerning the aspects of facilitating everyday living, addressing medical conditions and taking appropriate actions in emergency situations. However, an equally important aspect of the elderly's lives is their active engagement in their surrounding environment and this implies interacting with different types of technology.Robotic platforms have been around for quite some time since researchers have been trying to overcome essential problems that are related to the nature of robotics and their usage in domestic environments. Successful integration of robotic platforms in a domestic environment has been the result of multidisciplinary efforts from various scientific fields ranging from computer vision to machine learning and information systems. The challenges of these approaches have been so overwhelming that more focus was given to achieving a safe robot existence in a domestic environment than the actual human-robot interaction between the platform and its users. However, since the field of robotics has matured over the last years, a focus shift from the hardware itself to the HRI part of the robot’s existence in such domestic environments is becoming more and more necessary. Furthermore research efforts have focused on incorporating household robotic platforms in such environments under the role of domestic care givers or social companion. The possibilities that are offered by these domestic platforms towards the assistance in everyday life and the wellbeing of the senior citizens are being extensively researched in recent efforts as this scientific field has been drawing considerable attention in recent years. To this end, domestic robotic platforms have been proved to be a valuable piece of technology since they can actively and proactively assist senior citizens in their everyday lives.This work provides a focus shift towards the interaction part of the collaborative co-existence of the elderly and the robot. The main goal is to achieve the development of a commonly understood interaction language. In this novel form of communication, interaction should be tailored to the end users taking into account the specific requirements of each individual, the environmental state but also the capacity of the input/output channels provided by the robotic platform. To this end, the current thesis focuses on creating a universal solution to be used as the corner stone for building multimodal, elderly friendly, interactive applications that target household robots for elderly users. This research work provides developers with the necessary technologies, tools and building blocks for creating easy to use elderly-friendly multimodal applications in AAL environments, with particular focus on robotic platforms, thus increasing their level of adaptation to users’ needs, and, as a consequence, users’ acceptance of these technologies. The applications developed using the proposed framework are inherently friendly to the elder users, while adapting to their needs, the surrounding environment and the context of use. This results in a smooth learning curve, providing increased levels of user satisfaction. Moreover, the use of the proposed framework introduces new interaction modalities such as voice and gestures, enriching and simplifying the interaction experience of the applications. Finally, the framework facilitates effective and efficient development of the supported user interfaces, thus simplifying to a great extent the developer’s work.

Η προοδευτική αύξηση του προσδόκιμου όρου ζωής και η επακόλουθη αύξηση του πληθυσμού της τρίτης ηλικίας στην Ευρώπη και σε παγκόσμιο επίπεδο επιφέρουν την ανάγκη για νέες τεχνολογικές λύσεις στον τομέα της βελτίωσης της υγείας, της ανεξάρτητης διαβίωσης, της ποιότητας ζωής και της ενεργού γήρανσης των πολιτών της Κοινωνίας της Πληροφορίας. Η ποιότητα ζωής και η ενεργής γήρανση των ηλικιωμένων έχει γίνει ένας σημαντικός στόχος των ευρωπαϊκών κοινωνιών σήμερα. Στο πλαίσιο αυτό, ο όρος «Υποβοηθούμενη Αυτόνομη Διαβίωση» (Ambient Assisted Living - AAL) αναφέρεται στην ουσιαστική χρήση των τεχνολογιών, με τέτοιο τρόπο ώστε να βελτιώνουν την ποιότητα ζωής των ηλικιωμένων, προσφέροντάς τους την ασφάλεια και την άνεση που χρειάζονται για να ζήσουν ανεξάρτητοι και για περισσότερο χρόνο στο σπίτι τους, σε αντίθεση με τον εγκλεισμό τους σε κάποιο γηροκομείο ή ίδρυμα. Πολλές μελέτες έχουν διεξαχθεί στον τομέα της υποστήριξης των ηλικιωμένων σε περιβάλλοντα υποβοηθούμενης διαβίωσης, όσον αφορά τη διευκόλυνσή τους στις διάφορες πτυχές της καθημερινής τους ζωής, στην αντιμετώπιση ιατρικών περιστατικών και στη λήψη κατάλληλων μέτρων σε περιπτώσεις έκτακτης ανάγκης. Ωστόσο, εξίσου σημαντική πτυχή στη ζωή των ηλικιωμένων είναι η ενεργός συμμετοχή τους στο περιβάλλον διαβίωσής τους και αυτό συνεπάγεται την αλληλεπίδρασή τους με διάφορους και διαφορετικούς τύπους τεχνολογιών. Ένας τέτοιος τύπος τεχνολογίας είναι οι οικιακές υποβοηθητικές ρομποτικές πλατφόρμες.Οι υποβοηθητικές ρομποτικές πλατφόρμες βρίσκονται στο προσκήνιο εδώ και αρκετό καιρό, στο πλαίσιο της προσπάθειας των ερευνητών να ξεπεράσουν ουσιαστικά προβλήματα που σχετίζονται με τη ρομποτική τους φύση και τη χρήση τους σε οικιακά περιβάλλοντα. Η επιτυχής ένταξη υποβοηθητικών ρομπότ σε οικιακά περιβάλλοντα υπήρξε το αποτέλεσμα διεπιστημονικών προσπαθειών από διάφορους επιστημονικούς τομείς που κυμαίνονται από τον τομέα της ρομποτικής και υπολογιστικής όρασης μέχρι τον τομέα της μηχανικής μάθησης και των πληροφοριακών συστημάτων. Οι προκλήσεις που έχουν κληθεί να αντιμετωπίσουν αυτές οι προσεγγίσεις είναι τόσο μεγάλες ώστε περισσότερη έμφαση έχει δοθεί στην επίτευξη της ασφαλούς συνύπαρξης των ρομπότ σε οικιακά περιβάλλοντα παρά στο θέμα της αλληλεπίδραση μεταξύ της ρομποτικής πλατφόρμας και των χρηστών της. Ωστόσο, δεδομένου ότι το πεδίο της ρομποτικής έχει ωριμάσει αρκετά τα τελευταία χρόνια, η εστίαση στην αλληλεπίδραση μεταξύ των ανθρώπων και των ρομπότ σε οικιακά περιβάλλοντα υποβοηθούμενης αυτόνομης διαβίωσης γίνεται όλο και πιο αναγκαία.Η εργασία αυτή εστιάζει στην αλληλεπίδραση και τη συνεργατική συνύπαρξη των ηλικιωμένων και των ρομπότ. Ο κύριος στόχος είναι η επίτευξη μιας γλώσσας αλληλεπίδρασης η οποία θα είναι από κοινού κατανοητή. Σε αυτή την νέα μορφή επικοινωνίας, η αλληλεπίδραση θα πρέπει να είναι προσαρμοσμένη στους τελικούς χρήστες, λαμβάνοντας υπόψη τις ειδικές απαιτήσεις του κάθε ατόμου, την κατάσταση του περιβάλλοντος, αλλά και τις δυνατότητες που παρέχονται από τις ρομποτικές πλατφόρμες. Προς αυτόν το σκοπό, η παρούσα διατριβή επικεντρώνεται στη δημιουργία μιας καθολικής λύσης, η οποία θα μπορέσει να χρησιμοποιηθεί ως ακρογωνιαίος λίθος για την ανάπτυξη πολυτροπικών, φιλικών ως προς του ηλικιωμένους, διαδραστικών εφαρμογών που προορίζονται για ρομπότ οικιακής χρήσης. Επιπλέον, η ερευνητική αυτή εργασία παρέχει στους προγραμματιστές τις απαραίτητες τεχνολογίες, τα εργαλεία και τα δομικά στοιχεία που χρειάζονται για τη δημιουργία εύχρηστων, φιλικών ως προς του ηλικιωμένους, πολυμεσικών εφαρμογών σε AAL περιβάλλοντα, με ιδιαίτερη έμφαση στις ρομποτικές πλατφόρμες, αυξάνοντας έτσι τις δυνατότητες προσαρμογής τους στις ανάγκες των χρηστών και κατά συνέπεια την αποδοχή των τεχνολογιών αυτών από τους τελικούς χρήστες. Οι εφαρμογές που αναπτύσσονται με τη χρήση του προτεινόμενου πλαισίου είναι εγγενώς φιλικές ως προς τους ηλικιωμένους, ενώ παράλληλα μπορούν και προσαρμόζονται στις ανάγκες τους, στο περιβάλλον και στο πλαίσιο χρήσης. Με αυτόν τον τρόπο παρέχεται μια ομαλή καμπύλη μάθησης και ταυτόχρονα αυξημένα επίπεδα ικανοποίησης στους τελικούς χρήστες. Επιπλέον, η χρήση του προτεινόμενου πλαισίου εισάγει νέους τρόπους αλληλεπίδρασης, όπως η αλληλεπίδραση με χρήση φωνής και χειρονομιών, εμπλουτίζοντας έτσι την εμπειρία των τελικών χρηστών και συνάμα απλοποιώντας την αλληλεπίδραση και το χειρισμό των εφαρμογών. Τέλος, το πλαίσιο διευκολύνει την αποτελεσματική και αποδοτική ανάπτυξη διεπαφών χρήσης, απλοποιώντας έτσι σε μεγάλο βαθμό το έργο του προγραμματιστή.