Advancing electronic healthcare in ambient assistive living utilizing intelligent mobile systems

Abstract

The continuously arising demand for advanced healthcare services puts significant pressure on current solutions, especially in the field of ambient assisted living. Such solutions include traditional systems which often incorporate static, expensive and not easy-to-use hardware. Remote patient monitoring, rehabilitation, physical activity motivation, navigation and accessibility are key scientific problems that the existing healthcare landscape tries to address using the mentioned conventional methods. The latest technological advancements provide increased computational capabilities in even smaller devices, more lasting batteries and faster interconnectivity. In combination with the continuously evolving sensors (cameras, gyroscopes, accelerometers), mobile devices offer a set of data which can be efficiently utilized to cover various scenarios. As a result of these innovations, demanding Machine Learning (ML) algorithms are now capable of being executed in the palm of the user hands. Hence, tasks such as Computer Vision (CV), a subfield of Artificial Intelligence (AI) can be efficiently used in mobile devices with applications like Augmented Reality (AR) offering overlay of computer-generated content in the real world. In addition, Human-Machine Interaction plays a pivotal role in user engagement as systems with such advanced principles are proven to offer satisfactory experiences for the users. This dissertation aims to address the aforementioned problem of advancing ambient assisted living by utilizing intelligent mobile systems such as mobile phones and smart watches. This thesis divides this goal into research questions including the feasibility of commodity devices to achieve the thesis goal, the importance of Human-Computer Interaction principles in healthcare, the integration of AR, IoT and Sensors technologies for remote patient monitoring, the increase in accessibility via intelligent handheld solutions, the location-aware possibilities to increase quality of life and medical education. Therefore, novel solutions are introduced along with their results which highlight a direction towards a more pervasive healthcare landscape. These solutions include mobile patient monitoring systems which utilize gamification techniques, AR and IoT to motivate users to increase their physical activity indoors, to visit pocket parks and to utilize onboard motion sensors to monitor their gait asymmetries. Moreover, intelligent AR algorithms are used to achieve obstacle avoidance for the visually impaired and increase accessibility in exhibition areas. Handheld location-awareness is examined in the field of indoor localization, providing solutions to achieve indoor navigation without the need of additional hardware, incorporated by ML, and to facilitate better crowd management in museum scenarios. Finally, the combination of AR is combined with CV in commodity mobile devices to create a medicine box identification and compound visualization system, as a proof-of-concept prototype of a medical education assistant. Overall, this thesis highlights that commodity devices, which have the benefits of cost and hardware elimination, can indeed facilitate an advanced ambient assisted living. Intelligent systems running on these devices are getting advantage of the onboard hardware and the edge to introduce novel proof-of-concept solutions and propose a direction towards accessible, personalized and cost-effective healthcare.

Η συνεχώς αυξανόμενη ζήτηση για υπηρεσίες υγείας ασκεί έντονη πίεση στις υφιστάμενες λύσεις, ιδίως στον τομέα της Υποβοηθούμενης Διαβίωσης. Οι παραδοσιακές προσεγγίσεις βασίζονται συχνά σε στατικό, δαπανηρό και δύσχρηστο εξοπλισμό, δυσχεραίνοντας την αποτελεσματική υποστήριξη κρίσιμων αναγκών όπως η απομακρυσμένη παρακολούθηση ασθενών, η αποκατάσταση, η ενθάρρυνση σωματικής δραστηριότητας, η πλοήγηση και η προσβασιμότητα. Οι πρόσφατες τεχνολογικές εξελίξεις έχουν καταστήσει δυνατή την ύπαρξη ισχυρών υπολογιστικών δυνατοτήτων σε φορητές συσκευές μικρού μεγέθους, με αυξημένη αυτονομία και ταχεία διασυνδεσιμότητα. Σε συνδυασμό με τη συνεχή αναβάθμιση αισθητήρων—όπως κάμερες, γυροσκόπια και επιταχυνσιόμετρα—οι συσκευές αυτές παράγουν δεδομένα κατάλληλα για την εκτέλεση αλγορίθμων Μηχανικής Μάθησης σε πραγματικό χρόνο. Έτσι, λύσεις Υπολογιστικής Όρασης και Επαυξημένης Πραγματικότητας μπορούν πλέον να εφαρμοστούν αποδοτικά σε συσκευές ευρείας χρήσης, ενώ οι αρχές Αλληλεπίδρασης Ανθρώπου-Μηχανής συμβάλλουν αποφασιστικά στην ενίσχυση της εμπλοκής και συμμόρφωσης των χρηστών. Η παρούσα διατριβή αποσκοπεί στην προώθηση της υποβοηθούμενης διαβίωσης μέσω ευφυών φορητών συστημάτων, όπως τα κινητά τηλέφωνα και τα έξυπνα ρολόγια. Η έρευνα διερευνά τη συμβολή των συσκευών αυτών στην υγεία, την ενσωμάτωση τεχνολογιών AR, Διαδικτύου των Πραγμάτων και αισθητήρων για απομακρυσμένη παρακολούθηση, τη βελτίωση της προσβασιμότητας, τις δυνατότητες εντοπισμού θέσης σε εσωτερικούς χώρους και τις εφαρμογές τους στην ιατρική εκπαίδευση. Παρουσιάζονται καινοτόμες λύσεις που προάγουν ένα πιο ανθρωποκεντρικό υγειονομικό περιβάλλον. Περιλαμβάνονται συστήματα παρακολούθησης ασθενών με τεχνικές παιχνιδοποίησης, AR και IoT για προώθηση της σωματικής δραστηριότητας σε εσωτερικούς και εξωτερικούς χώρους, καθώς και μηχανισμοί ανάλυσης ασυμμετριών βάδισης μέσω ενσωματωμένων αισθητήρων. Επιπλέον, αναπτύχθηκαν προηγμένοι αλγόριθμοι AR για αποφυγή εμποδίων από άτομα με μειωμένη όραση και για βελτίωση της προσβασιμότητας σε εκθεσιακούς χώρους. Εξετάστηκαν επίσης τεχνικές εντοπισμού θέσης χωρίς πρόσθετο εξοπλισμό ή GPS, με εφαρμογές στην πλοήγηση εσωτερικών χώρων και στη διαχείριση επισκεψιμότητας μουσείων. Τέλος, προτείνεται ένα πρωτότυπο σύστημα που συνδυάζει AR και Υπολογιστική Όραση για την αναγνώριση φαρμακευτικών συσκευασιών και την οπτικοποίηση των μοριακών τους δομών, ενισχύοντας την ιατρική εκπαίδευση. Συνολικά, η διατριβή καταδεικνύει ότι οι συσκευές ευρείας χρήσης, με το χαμηλό κόστος και την απουσία ανάγκης πρόσθετου υλικού, μπορούν να αποτελέσουν κρίσιμη υποδομή για την υποβοηθούμενη διαβίωση. Τα ευφυή υπολογιστικά συστήματα που εκτελούνται σε αυτές αξιοποιούν το ενσωματωμένο υλικό για την παροχή καινοτόμων, προσβάσιμων και οικονομικά αποδοτικών λύσεων, προάγοντας ένα περισσότερο εξατομικευμένο και βιώσιμο μοντέλο υγειονομικής φροντίδας.