A unified framework for efficient and adaptive autonomous systems

Abstract

This dissertation proposes a unified design framework for autonomous systems that are capable of adapting to changing conditions, operating under real-world constraints, and remaining human-centered. It argues that conventional approaches to artificial intelligence often rely, during the design of autonomous systems, on assumptions such as remote access to high computational power and a separation between the application itself and the actual operating conditions of the system. The computational resources available during autonomous operation are often limited compared with those used during the development and training of the corresponding intelligent mechanisms, while low-latency requirements restrict reliance on remote processing. At the same time, autonomous systems must be understandable and usable by human operators, as well as capable of adapting to changing operating conditions. To address these challenges, this dissertation introduces a flexible three-pillar framework that connects adaptive learning, efficient deployment, and natural human-system interaction, without imposing a single architecture for every application. The proposed framework is organized around three main pillars: human-centered interaction through natural language interfaces, efficient deployment through distributed and resource-aware execution, and adaptive decision-making through learning and control methods. The main contribution of the dissertation is not limited to these pillars individually, but lies in the way they can be selected and combined according to the requirements of each application. In particular, the framework highlights the connection between linguistic reasoning and adaptive action planning, the importance of deploying intelligent functions efficiently under constraints, and the role of natural interaction interfaces as a means through which users can supervise, configure, and adapt autonomous systems. These ideas are evaluated through targeted studies corresponding to the three pillars of the framework. With respect to human-centered interaction, the dissertation examines a perception-to-action process in which action planning is based on structured scene representations and spatial information. In parallel, a comparative evaluation of contemporary language-based reasoning systems reveals limitations in spatial understanding and highlights the need for explicit control mechanisms. With respect to efficient deployment, different approaches to optimization, processing distribution, and privacy protection are investigated, with the aim of deploying intelligent functions under constraints related to computational power, communication, latency, energy consumption, and data management. With respect to adaptive decision-making, learning and control methods are evaluated in navigation and robotic control scenarios, demonstrating how behavioral policies derived from the training of reinforcement learning models can support autonomous operation in simulated environments with obstacles and task-specific requirements, using limited sensory information and feedback. Finally, an implementation is presented that combines the three pillars in search-and-rescue missions, showing how interaction, deployment, and adaptation can be connected within a common application. Overall, the studies presented for each pillar show that adaptive intelligence, efficient deployment, and human-centered interaction can be combined in ways that support the development of autonomous systems that are more practical, more sensitive to privacy concerns, and more closely aligned with real-world application conditions.

Η παρούσα διατριβή προτείνει ένα ενοποιημένο πλαίσιο σχεδιασμού για αυτόνομα συστήματα που μπορούν να προσαρμόζονται, να αναπτύσσονται σε πραγματικές συνθήκες και να παραμένουν προσανατολισμένα στον άνθρωπο. Υποστηρίζει ότι οι συμβατικές προσεγγίσεις τεχνητής νοημοσύνης θεωρούν ότι κατά τον σχεδιασμό ενός αυτόνομου συστήματος γίνονται παραδοχές όπως απομακρυσμένη πρόσβαση σε υψηλή υπολογιστική ισχύ και διαχωρισμός της εφαρμογής από τις πραγματικές συνθήκες λειτουργίας του συστήματος. Οι διαθέσιμοι υπολογιστικοί πόροι κατά την αυτόνομη λειτουργία είναι συχνά περιορισμένοι σε σχέση με εκείνους που χρησιμοποιούνται κατά την ανάπτυξη και εκπαίδευση των αντίστοιχων ευφυών μηχανισμών, ενώ οι απαιτήσεις χαμηλής καθυστέρησης περιορίζουν την εξάρτηση από απομακρυσμένη επεξεργασία. Παράλληλα, τα αυτόνομα συστήματα πρέπει να είναι κατανοητά και αξιοποιήσιμα από ανθρώπινους χειριστές, καθώς και ικανά να προσαρμόζονται σε μεταβαλλόμενες συνθήκες λειτουργίας. Για την αντιμετώπιση αυτών των προκλήσεων, η διατριβή εισάγει ένα ευέλικτο πλαίσιο τριών αξόνων, το οποίο συνδέει την προσαρμοστική μάθηση, την αποδοτική υλοποίηση και τη φυσική αλληλεπίδραση ανθρώπου-συστήματος, χωρίς να επιβάλλει μία ενιαία αρχιτεκτονική για κάθε εφαρμογή. Το προτεινόμενο πλαίσιο οργανώνεται γύρω από τρεις βασικούς άξονες: την ανθρωποκεντρική αλληλεπίδραση μέσω φυσικών γλωσσικών διεπαφών, την αποδοτική υλοποίηση μέσω κατανεμημένης και προσαρμοσμένης στους πόρους ανάπτυξη, και την προσαρμοστική λήψη αποφάσεων μέσω μεθόδων μάθησης και ελέγχου. Η κύρια συνεισφορά της διατριβής δεν περιορίζεται στους άξονες αυτούς μεμονωμένα, αλλά στον τρόπο με τον οποίο μπορούν να επιλέγονται και να συνδυάζονται ανάλογα με τις απαιτήσεις κάθε εφαρμογής. Ειδικότερα, το πλαίσιο αναδεικνύει τη σύνδεση μεταξύ γλωσσικής συλλογιστικής και προσαρμοστικού σχεδιασμού ενεργειών, τη σημασία της αποδοτικής υλοποίησης ευφυών λειτουργιών υπό περιορισμούς, καθώς και τον ρόλο των φυσικών διεπαφών αλληλεπίδρασης ως μέσου επίβλεψης, διαμόρφωσης και προσαρμογής αυτόνομων συστημάτων από τον χρήστη. Οι παραπάνω ιδέες αξιολογούνται μέσα από στοχευμένες μελέτες, οι οποίες αντιστοιχούν στους τρεις άξονες του πλαισίου. Ως προς την ανθρωποκεντρική αλληλεπίδραση, εξετάζεται μια διαδικασία μετάβασης από την αντίληψη στη δράση, όπου ο σχεδιασμός ενεργειών βασίζεται σε δομημένες αναπαραστάσεις σκηνής και χωρική πληροφορία. Παράλληλα, συγκριτική αξιολόγηση σύγχρονων γλωσσικών συστημάτων συλλογιστικής αναδεικνύει περιορισμούς στη χωρική κατανόηση και την ανάγκη για ρητούς μηχανισμούς ελέγχου. Ως προς την αποδοτική υλοποίηση, διερευνώνται διαφορετικές προσεγγίσεις βελτιστοποίησης, κατανομής επεξεργασίας και προστασίας της ιδιωτικότητας, με στόχο την ανάπτυξη ευφυών λειτουργιών υπό περιορισμούς υπολογιστικής ισχύος, επικοινωνίας, καθυστέρησης, ενεργειακής κατανάλωσης και διαχείρισης δεδομένων. Ως προς την προσαρμοστική λήψη αποφάσεων, μέθοδοι μάθησης και ελέγχου αξιολογούνται σε σενάρια πλοήγησης και ρομποτικού ελέγχου, δείχνοντας πώς πολιτικές συμπεριφοράς που προκύπτουν από την εκπαίδευση μοντέλων ενισχυτικής μάθησης μπορούν να υποστηρίξουν αυτόνομη λειτουργία σε προσομοιωμένα περιβάλλοντα με εμπόδια και ειδικές απαιτήσεις έργου, αξιοποιώντας περιορισμένη αισθητηριακή πληροφορία και ανάδραση. Τέλος, παρουσιάζεται μια υλοποίηση που συνδυάζει τους τρεις άξονες σε αποστολές έρευνας και διάσωσης και δείχνει πώς η αλληλεπίδραση, η υλοποίηση και η προσαρμογή μπορούν να συνδεθούν μέσα σε μια κοινή εφαρμογή. Καθεμία από τις μελέτες που παρουσιάζονται ανά άξονα δείχνει ότι η προσαρμοστική ευφυΐα, η αποδοτική υλοποίηση και η ανθρωποκεντρική αλληλεπίδραση μπορούν να συνδυαστούν με τρόπο που υποστηρίζει την ανάπτυξη αυτόνομων συστημάτων πιο πρακτικών, πιο ευαίσθητων σε ζητήματα ιδιωτικότητας και περισσότερο προσανατολισμένων στις πραγματικές συνθήκες εφαρμογής.