Deep learning methods for sequential decision-making in dynamic systems

Abstract

Η παρούσα διδακτορική διατριβή εξετάζει την ανάπτυξη, τη βελτίωση και την αξιολόγηση μεθόδων Βαθιάς Μάθησης για τη διαδοχική λήψη αποφάσεων σε σύνθετα και δυναμικά συστήματα. Τα συστήματα αυτά χαρακτηρίζονται από χρονικές εξαρτήσεις, αβεβαιότητα, θορυβώδεις παρατηρήσεις, μερική παρατηρησιμότητα, μη στάσιμες συνθήκες και περιβάλλοντα που μεταβάλλονται συνεχώς. Βασικός στόχος της διατριβής είναι η σχεδίαση ευφυών μοντέλων που μπορούν να εξάγουν χρήσιμες αναπαραστάσεις από ακολουθιακά δεδομένα, να προσαρμόζουν τις αποφάσεις τους με την πάροδο του χρόνου και να λειτουργούν αξιόπιστα υπό πραγματικούς περιορισμούς. Οι προτεινόμενες μέθοδοι συνδυάζουν τη Βαθιά Μάθηση, την Ενισχυτική Μάθηση, τη μάθηση μέσω μίμησης, την εκτίμηση αβεβαιότητας και τη φυσικά καθοδηγούμενη μάθηση, με εφαρμογές στις αλγοριθμικές συναλλαγές, την αυτόνομη οδήγηση, τη ρομποτική και τη μοντελοποίηση δυναμικών συστημάτων. Στον τομέα των αλγοριθμικών συναλλαγών, παρουσιάζονται μέθοδοι όπως οι TraderNet-CR, UNSURE, VPM και ViT², οι οποίες επεξεργάζονται χρηματοοικονομικές χρονοσειρές και υποστηρίζουν τη λήψη αποφάσεων σε αγορές κρυπτονομισμάτων. Οι προσεγγίσεις αυτές μελετούν την εκμάθηση αναπαραστάσεων της αγοράς, τη λήψη αποφάσεων με επίγνωση του κινδύνου, την εκτίμηση της αβεβαιότητας και τη μεταφορά γνώσης μεταξύ διαφορετικών αγορών. Ιδιαίτερη έμφαση δίνεται στην ανθεκτικότητα των μοντέλων σε συνθήκες υψηλής μεταβλητότητας και στον περιορισμό του κινδύνου που προκαλούν αναξιόπιστες ή υπερβολικά βέβαιες προβλέψεις. Στην αυτόνομη οδήγηση αναπτύσσονται αρχιτεκτονικές για την αντίληψη του περιβάλλοντος, την εκμάθηση πολιτικών οδήγησης και τον προσαρμοστικό έλεγχο του οχήματος. Οι μέθοδοι CIL++, CILRL++ και CILRLv3 συνδυάζουν την υπό συνθήκη μάθηση μέσω μίμησης με την Ενισχυτική Μάθηση, με στόχο τη βελτίωση της οδηγικής επίδοσης, της γενίκευσης και της προσαρμογής σε άγνωστες καταστάσεις. Παράλληλα, μελετώνται πολυτροπικές και χρονικές αναπαραστάσεις, ενώ η μέθοδος NADAS αφορά προσαρμοστικά συστήματα υποβοήθησης οδηγού που λειτουργούν υπό υπολογιστικούς περιορισμούς και απαιτήσεις πραγματικού χρόνου. Η διατριβή εξετάζει επίσης τον έλεγχο ενός ανθρωπομορφικού ρομποτικού χεριού InMoov. Αναπτύσσονται μοντέλα Βαθιάς Μάθησης που μετατρέπουν οπτικές πληροφορίες και εντολές φυσικής γλώσσας σε κινήσεις των ενεργοποιητών του ρομπότ, επιτρέποντας τη μεταφορά ανθρώπινων κινήσεων και τον έλεγχο του χεριού μέσω ομιλίας. Tέλος, μελετώνται Φυσικά Καθοδηγούμενα Νευρωνικά Δίκτυα για τη μοντελοποίηση δυναμικών συστημάτων που περιγράφονται από διαφορικές εξισώσεις. Οι μέθοδοι GPS, GENESIS, REPS και GENERAL εισάγουν προσαρμοστικές και στοχαστικές στρατηγικές δειγματοληψίας, οι οποίες επικεντρώνουν την εκπαίδευση στις περισσότερο πληροφοριακές περιοχές του φυσικού πεδίου. Με τον τρόπο αυτό βελτιώνεται η σύγκλιση και η ακρίβεια των μοντέλων, ιδιαίτερα σε προβλήματα με σύνθετη δυναμική και απότομες μεταβολές της λύσης. Συνολικά, η διατριβή καταδεικνύει ότι η αξιόπιστη διαδοχική λήψη αποφάσεων απαιτεί τον συνδυασμό της μάθησης αναπαραστάσεων από δεδομένα με την εκτίμηση αβεβαιότητας, την προσαρμοστικότητα, την αξιοποίηση γνώσης του πεδίου και την ενσωμάτωση περιορισμών της εκάστοτε εφαρμογής. Τα αποτελέσματα συμβάλλουν στην ανάπτυξη ευφυών συστημάτων που είναι ακριβέστερα, αποδοτικότερα, επεκτάσιμα και περισσότερο αξιόπιστα σε σύνθετα περιβάλλοντα του πραγματικού κόσμου.

This doctoral dissertation investigates the development, improvement, and evaluation of Deep Learning methods for sequential decision-making in complex and dynamic systems. Such systems are characterized by temporal dependencies, uncertainty, noisy observations, partial observability, non-stationary conditions, and continuously changing environments. The main objective of the dissertation is to design intelligent models that can extract informative representations from sequential data, adapt their decisions over time, and operate reliably under real-world constraints. The proposed methods combine Deep Learning, Reinforcement Learning, imitation learning, uncertainty estimation, and physics-informed learning, with applications in algorithmic trading, autonomous driving, robotic manipulation, and dynamic-system modeling. In algorithmic trading, the dissertation introduces a series of learning-based methods, including TraderNet-CR, UNSURE, VPM, and ViT², for processing financial time series and supporting cryptocurrency trading decisions. These approaches investigate the integration of market representation learning, risk-sensitive decision-making, uncertainty estimation, and transferable predictive models. Particular emphasis is placed on improving robustness under volatile market conditions and reducing the risks associated with unreliable or overconfident predictions. In autonomous driving, several architectures are developed for perception, driving-policy learning, and adaptive vehicle control. The proposed CIL++, CILRL++, and CILRLv3 methods combine Conditional Imitation Learning with Reinforcement Learning to improve driving performance, generalization, and adaptation to previously unseen situations. Additional approaches investigate multimodal perception and temporal modeling, while NADAS addresses adaptive driving and Advanced Driver-Assistance Systems under computational and real-time constraints. The dissertation also examines the control of a human-sized InMoov robotic hand. Deep Learning models are developed for translating visual information and natural-language commands into robotic actuator movements, enabling human-to-robot motion transfer and speech-driven manipulation. These methods demonstrate how heterogeneous sensory inputs can be transformed into coordinated robotic actions. Finally, the dissertation studies Physics-Informed Neural Networks for modeling dynamic systems governed by differential equations. Methods such as GPS, GENESIS, REPS, and GENERAL introduce adaptive and stochastic sampling strategies that focus training on informative regions of the physical domain. These approaches improve convergence and predictive accuracy, particularly in problems involving complex dynamics and steep solution gradients. Overall, the dissertation demonstrates that robust sequential decision-making requires models that combine data-driven representation learning with uncertainty awareness, adaptability, domain knowledge, and application-specific constraints. The results contribute toward the development of intelligent systems that are more accurate, efficient, scalable, and reliable when deployed in complex real-world environments.