Περίληψη
Η αυξανόμενη ανάπτυξη αυτόνομων ναυτιλιακών συστημάτων έχει δημιουργήσει την ανάγκη για ευφυείς μεθόδους πλοήγησης, ικανές να λειτουργούν αξιόπιστα σε σύνθετα, δυναμικά και αβέβαια περιβάλλοντα. Τα Μη Επανδρωμένα Επιφανειακά Οχήματα (Unmanned Surface Vehicles, USVs) αποτελούν ιδιαίτερα απαιτητικές αυτόνομες πλατφόρμες, καθώς η πλοήγησή τους επηρεάζεται από περιβαλλοντικές διαταραχές, κινούμενα σκάφη, περιορισμούς στην αντίληψη του περιβάλλοντος και την απαίτηση διατήρησης ασφαλών αποστάσεων από τα περιβάλλοντα εμπόδια. Παρότι η Βαθιά Ενισχυτική Μάθηση (Deep Reinforcement Learning, DRL) παρέχει ένα πολλά υποσχόμενο πλαίσιο για την εκμάθηση πολιτικών πλοήγησης μέσω αλληλεπίδρασης με ένα περιβάλλον, η εφαρμογή της στην αυτόνομη ναυτιλιακή πλοήγηση εξακολουθεί να αντιμετωπίζει προκλήσεις που σχετίζονται με την ασφάλεια, τη διαθεσιμότητα γνώσης από ειδικούς, τη γενίκευση και τον συντονισμό μεταξύ πολλαπλών αυτόνομων σκαφών. Η παρούσα διδακτορική διατριβή διερευνά προηγμένες μεθόδους ενισχυτ ...
Η αυξανόμενη ανάπτυξη αυτόνομων ναυτιλιακών συστημάτων έχει δημιουργήσει την ανάγκη για ευφυείς μεθόδους πλοήγησης, ικανές να λειτουργούν αξιόπιστα σε σύνθετα, δυναμικά και αβέβαια περιβάλλοντα. Τα Μη Επανδρωμένα Επιφανειακά Οχήματα (Unmanned Surface Vehicles, USVs) αποτελούν ιδιαίτερα απαιτητικές αυτόνομες πλατφόρμες, καθώς η πλοήγησή τους επηρεάζεται από περιβαλλοντικές διαταραχές, κινούμενα σκάφη, περιορισμούς στην αντίληψη του περιβάλλοντος και την απαίτηση διατήρησης ασφαλών αποστάσεων από τα περιβάλλοντα εμπόδια. Παρότι η Βαθιά Ενισχυτική Μάθηση (Deep Reinforcement Learning, DRL) παρέχει ένα πολλά υποσχόμενο πλαίσιο για την εκμάθηση πολιτικών πλοήγησης μέσω αλληλεπίδρασης με ένα περιβάλλον, η εφαρμογή της στην αυτόνομη ναυτιλιακή πλοήγηση εξακολουθεί να αντιμετωπίζει προκλήσεις που σχετίζονται με την ασφάλεια, τη διαθεσιμότητα γνώσης από ειδικούς, τη γενίκευση και τον συντονισμό μεταξύ πολλαπλών αυτόνομων σκαφών. Η παρούσα διδακτορική διατριβή διερευνά προηγμένες μεθόδους ενισχυτικής μάθησης για την αυτόνομη πλοήγηση USV, με ιδιαίτερη έμφαση στην ανάπτυξη πολιτικών πλοήγησης που είναι αποτελεσματικές, ασφαλείς και εφαρμόσιμες σε ολοένα πιο σύνθετα ναυτιλιακά σενάρια.Για τη δημιουργία μιας πρακτικής βάσης για την έρευνα, σχεδιάζεται και κατασκευάζεται μια μικρής κλίμακας αυτόνομη πλατφόρμα USV, με σκοπό την ανάπτυξη, αξιολόγηση και μελλοντική μεταφορά μεθόδων πλοήγησης βασισμένων στη μάθηση σε πραγματικό υλικό. Ο σχεδιασμός και η διαδικασία κατασκευής του USV, συμπεριλαμβανομένης της αρχιτεκτονικής υλικού και λογισμικού, παρουσιάζονται στο παράρτημα της διατριβής. Παράλληλα, αναπτύσσεται ένα εξειδικευμένο περιβάλλον προσομοίωσης, το οποίο επιτρέπει την αποδοτική εκπαίδευση και τη συστηματική αξιολόγηση χωρίς την έκθεση της φυσικής πλατφόρμας στους κινδύνους που συνδέονται με τη μάθηση μέσω δοκιμής και σφάλματος. Ο συνδυασμός πραγματικού υλικού και προσομοίωσης παρέχει ένα πλαίσιο για τη διερεύνηση της μετάβασης των μεθόδων αυτόνομης πλοήγησης από την ανάπτυξη αλγορίθμων προς την εφαρμογή τους σε πραγματικές συνθήκες.Στο πλαίσιο αυτό, αρχικά διερευνώνται πολιτικές πλοήγησης βασισμένες στη DRL για την αυτόνομη πλοήγηση USV σε περιβάλλοντα που περιλαμβάνουν περιβαλλοντικές διαταραχές και κινούμενη ναυτιλιακή κίνηση. Το προτεινόμενο πλαίσιο πλοήγησης επιδεικνύει την ικανότητα των πρακτόρων που βασίζονται στη μάθηση να συνδυάζουν την πλοήγηση προς τον στόχο με την αποφυγή συγκρούσεων σε ένα περιβάλλον συνεχούς ελέγχου. Στη συνέχεια, διερευνάται η μίμηση συμπεριφοράς, με στόχο την αντιμετώπιση της δυσκολίας απόκτησης αποτελεσματικών πολιτικών πλοήγησης αποκλειστικά μέσω αλληλεπίδρασης δοκιμής και σφάλματος με το περιβάλλον. Ειδικότερα, εφαρμόζεται η Γενετική Ανταγωνιστική Μάθηση Μίμησης (Generative Adversarial Imitation Learning, GAIL) για την εξαγωγή πολιτικών πλοήγησης από επιδείξεις ειδικού, επιτρέποντας στον πράκτορα να αποκτήσει επιθυμητή συμπεριφορά πλοήγησης χωρίς την ανάγκη ρητής αναπαραγωγής μιας χειροκίνητα σχεδιασμένης συνάρτησης ανταμοιβής. Η προσέγγιση αυτή παρέχει έναν εναλλακτικό μηχανισμό ενσωμάτωσης πρότερης γνώσης πλοήγησης στη διαδικασία μάθησης και καταδεικνύει την εφαρμοσιμότητα της ανταγωνιστικής μάθησης μίμησης στην αυτόνομη πλοήγηση USV.Στη συνέχεια, η διατριβή αντιμετωπίζει την ασφάλεια ως ρητή απαίτηση της διαδικασίας μάθησης. Η αυτόνομη πλοήγηση διατυπώνεται ως Constrained Markov Decision Process (CMDP), στην οποία η απόδοση ως προς την εκτέλεση της αποστολής και η ασφάλεια αναπαρίστανται μέσω διακριτών στόχων ανταμοιβής και κόστους. Αναπτύσσεται ένα πλαίσιο χαλάρωσης Lagrange για την ενσωμάτωση περιορισμών που σχετίζονται με στατικά και κινούμενα εμπόδια στη βελτιστοποίηση της πολιτικής. Η προσέγγιση επιτρέπει στην πολιτική πλοήγησης να εξισορροπεί την απόδοση της αποστολής με την αποφυγή συγκρούσεων, λαμβάνοντας παράλληλα υπόψη διαφορετικές κατηγορίες ναυτιλιακών κινδύνων. Επιπλέον, διερευνάται μια επέκταση του πλαισίου με εκπαιδεύσιμες παραμέτρους Lagrange και βελτιστοποίηση βασισμένη σε αρχιτεκτονική actor-critic, με στόχο την προσαρμοστική επιβολή των απαιτήσεων ασφάλειας κατά τη διάρκεια της εκπαίδευσης της πολιτικής.Τέλος, η διατριβή επεκτείνει την αυτόνομη πλοήγηση από το περιβάλλον ενός μόνο USV σε περιβάλλοντα πολλαπλών USV. Προτείνεται ένα πλαίσιο Cross-Agent Multi-Agent Soft Actor-Critic (CROSS-MASAC), στο οποίο οι αποκεντρωμένοι actors εκπαιδεύονται μέσω ενημερώσεων μεταξύ των πολιτικών διαφορετικών πρακτόρων, αξιοποιώντας παράλληλα κοινή μαθησιακή πληροφορία. Η προσέγγιση αποσκοπεί στη βελτίωση του συντονισμού και της συνέπειας των πολιτικών μεταξύ ανεξάρτητα δρώντων USV, χωρίς να απαιτείται κεντρικός έλεγχος κατά την εκτέλεση. Με τον τρόπο αυτό, η έρευνα μεταβαίνει από την αυτόνομη πλοήγηση ενός πράκτορα προς την κλιμακούμενη πολυπρακτορική ναυτιλιακή αυτονομία, όπου πολλαπλά σκάφη πρέπει να πλοηγούνται ταυτόχρονα και να ανταποκρίνονται στις ενέργειες των υπολοίπων σε ένα κοινό περιβάλλον.Συνολικά, η παρούσα έρευνα αναπτύσσει ένα προοδευτικό πλαίσιο ενισχυτικής μάθησης για την αυτόνομη πλοήγηση USV, το οποίο περιλαμβάνει βαθιά ενισχυτική μάθηση, μάθηση μίμησης, ασφαλή ενισχυτική μάθηση και πολυπρακτορική ενισχυτική μάθηση, υποστηριζόμενα από μια ειδικά σχεδιασμένη φυσική πλατφόρμα USV και ένα εξειδικευμένο περιβάλλον προσομοίωσης. Η έρευνα αντιμετωπίζει τη σταδιακή εξέλιξη από τη βασική αυτόνομη πλοήγηση, στη μάθηση από συμπεριφορά ειδικού, στη ρητή επιβολή περιορισμών ασφάλειας και, τέλος, στον συντονισμό πολλαπλών πρακτόρων. Το συνολικό πλαίσιο παρέχει μια βάση για την ανάπτυξη και τη μελλοντική εφαρμογή ευφυών συστημάτων USV, ικανών να πλοηγούνται με ασφάλεια, αυτονομία και συνεργατικότητα σε σύνθετα ναυτιλιακά περιβάλλοντα.
περισσότερα
Περίληψη σε άλλη γλώσσα
The increasing development of autonomous maritime systems has created a need for intelligent navigation methods capable of operating reliably in complex, dynamic, and uncertain environments. Unmanned Surface Vehicles (USVs) are particularly challenging autonomous platforms because their navigation is affected by environmental disturbances, moving vessels, limited perception, and the requirement to maintain safe separation from surrounding obstacles. While deep reinforcement learning (DRL) provides a promising framework for learning navigation policies through interaction with an environment, its application to autonomous maritime navigation remains constrained by issues related to safety, the availability of expert knowledge, generalization, and coordination among multiple autonomous vessels. This dissertation investigates advanced reinforcement learning methods for autonomous USV navigation, with particular emphasis on developing learning-based navigation policies that are effective, ...
The increasing development of autonomous maritime systems has created a need for intelligent navigation methods capable of operating reliably in complex, dynamic, and uncertain environments. Unmanned Surface Vehicles (USVs) are particularly challenging autonomous platforms because their navigation is affected by environmental disturbances, moving vessels, limited perception, and the requirement to maintain safe separation from surrounding obstacles. While deep reinforcement learning (DRL) provides a promising framework for learning navigation policies through interaction with an environment, its application to autonomous maritime navigation remains constrained by issues related to safety, the availability of expert knowledge, generalization, and coordination among multiple autonomous vessels. This dissertation investigates advanced reinforcement learning methods for autonomous USV navigation, with particular emphasis on developing learning-based navigation policies that are effective, safe, and applicable to increasingly complex maritime scenarios.To establish a practical foundation for the research, a small-scale autonomous USV platform is designed and constructed to support the development, validation, and eventual transfer of learning-based navigation methods to physical hardware. In parallel, a comprehensive simulation framework is developed to enable efficient training and systematic evaluation without exposing the physical platform to the risks associated with trial-and-error learning. Within this framework, DRL-based navigation policies are investigated for autonomous USV navigation in environments containing environmental disturbances and moving maritime traffic. The resulting navigation framework demonstrates the ability of learning-based agents to integrate goal-directed navigation and collision avoidance within a continuous control setting. Building upon this foundation, imitation learning is investigated to address the difficulty of acquiring effective navigation policies solely through trial-and-error interaction. In particular, Generative Adversarial Imitation Learning (GAIL) is employed to derive navigation policies from expert demonstrations, enabling the agent to acquire desirable navigation behavior without explicitly reproducing a manually designed reward function. This provides an alternative mechanism for incorporating prior navigation knowledge into the learning process and demonstrates the applicability of adversarial imitation learning to autonomous USV navigation.The dissertation subsequently addresses safety as an explicit requirement of the learning process. Autonomous navigation is formulated as a Constrained Markov Decision Process (CMDP), in which task performance and safety are represented through separate reward and cost objectives. A Lagrangian relaxation framework is developed to incorporate constraints associated with static and moving obstacles into policy optimization. The approach enables the navigation policy to balance task performance with collision avoidance while explicitly accounting for different classes of maritime hazards. An extension of this framework further investigates trainable Lagrangian parameters and Actor-Critic-based optimization to provide adaptive safety enforcement during policy learning and the underlying interpretability of the safety constraints.Finally, the dissertation extends autonomous navigation from a single-USV setting to multi-USV environments. A Cross-Agent Multi-agent Soft Actor-Critic (CROSS-MASAC) framework is proposed in which decentralized actors are trained through cross-agent policy updates while leveraging shared learning information. The approach aims to improve coordination and policy consistency among independently acting USVs without requiring centralized execution. This establishes a transition from single-agent navigation toward scalable multi-agent maritime autonomy, where multiple vessels must simultaneously navigate and respond to one another within a shared environment.
περισσότερα