Trustworthy AI operations with conversational assistance and agentic workflows

Abstract

The rapid advancement of Artificial Intelligence (AI) capabilities—from static models to autonomous agents—has created a critical "Operations Gap," where the ability to develop powerful models has outpaced the capacity to integrate, monitor, and control them reliably in real-world environments. Traditional operational paradigms like Machine Learning Operations (MLOps) are often insufficient for modern agents that exhibit autonomy, non-determinism, and direct interaction with humans. This thesis addresses this gap by establishing the discipline of Trustworthy AI Operations, providing a roadmap for deploying autonomous AI that is not only powerful but also reliable, transparent, and aligned with human values.A central contribution of this work is a novel taxonomy that characterises the operational maturity of AI systems through five evolving levels: Handcrafted, Integrated, Augmented, Trusted, and Autonomous. Handcrafted systems rely on manual, disjoint implementations with minimal automation. The Integrated level unifies lifecycle management, where data, model training, and deployment are orchestrated within a cohesive architecture to eliminate silos. The Augmented level enhances human-AI interaction using Large Language Models (LLMs) and intelligent agents to lower the cognitive barrier of managing complex systems. The Trusted level operationalises trustworthiness, ensuring requirements such as fairness and explainability are continuously verified. Finally, the Autonomous level represents the future state of self-governing multi-agent systems operating within established trust boundaries.To support this evolution, the thesis introduces a reference architecture that unifies disparate AI development stages, enabling automated workflows and reducing technical debt. It explores agentic augmentation, where conversational AI acts as an intermediary between human intent and system operations, democratizing access to complex analytics. Furthermore, it defines the Trustworthiness Optimisation Process (TOP), a continuous loop of identification, assessment, exploration, and enhancement that treats sociotechnical constraints as real-time operational objectives rather than one-off compliance checks.As a technical validation of these concepts, the thesis presents Trustproofer, a neuro-symbolic agentic framework. Trustproofer combines the reasoning capabilities of symbolic AI with the adaptability of neural networks to orchestrate trust-aware operations. It serves as a practical testbed, demonstrating that high-level autonomy can coexist with rigorous human oversight and sociotechnical safeguards, thus bridging the gap between theoretical AI capabilities and their safe, effective deployment in production.

Η ταχεία εξέλιξη της Τεχνητής Νοηµοσύνης (ΤΝ) έχει οδηγήσει στην ανάπτυξη µοντέλων µε εντυπωσιακές δυνατότητες, από τη ϐαθιά µάθηση έως τη σύγχρονη Γενετική ΤΝ (Generative AI). Ωστόσο, η µετάβαση από ερευνητικά πρωτότυπα σε αξιόπιστα παραγωγικά συστήµατα παραµένει σηµαντική πρόκληση. Πολλοί οργανισµοί αντιµετωπίζουν ένα«Επιχειρησιακό Χάσµα» (Operations Gap), δηλαδή τη δυσκολία ενσωµάτωσης, διαχείρισης και ελέγχου συστηµάτων ΤΝ σε πραγµατικές συνθήκες, ιδιαίτερα καθώς αυτά γίνονται πιο σύνθετα και αυτόνοµα. Τα παραδοσιακά πλαίσια, όπως το MLOps, επικεντρώνονται κυρίως στη µηχανική λογισµικού και στη διαχείριση στατικών µοντέλων. Ωστόσο, δεν επαρκούν για σύγχρονα συστήµατα ΤΝ που απαιτούν συνεχή προσαρµογή, διαχείριση κινδύνου σε πραγµατικό χρόνο και αποτελεσµατική συνεργασία ανθρώπων και αυτόνοµων πρακτόρων. Η παρούσα διατριβή προτείνει ένα ολιστικό πλαίσιο για τις Επιχειρησιακές Λειτουργίες Αξιόπιστης ΤΝ (Trustworthy AI Operations), το οποίο ενσωµατώνει την αξιοπιστία στον κύκλο Ϲωής των συστηµάτων ΤΝ. Κεντρική συνεισφορά αποτελεί η εισαγωγή µιας ταξινοµίας πέντε επιπέδων ωριµότητας για τις λειτουργίες ΤΝ: (1) Χειροκίνητο (Handcrafted), µε αποσπασµατικές διαδικασίες (2) Ολοκληρωµένο (Integrated), µε ενοποίηση δεδοµένων και µοντέλων (3) Επαυξηµένο (Augmented), όπου η ανθρώπινη εποπτεία ενισχύεται από ευφυείς ϐοηθούς (4) Αξιόπιστο (Trusted), όπου η εµπιστοσύνη λειτουργικοποιείται ως συνεχής στόχος και (5) Αυτόνοµο (Autonomous), µε συντονισµένη δράση πολυπρακτορικών συστηµάτων. Στο επίπεδο της ολοκλήρωσης, προτείνεται µια αρχιτεκτονική αναφοράς που ενοποιεί όλα τα στάδια του κύκλου ζωής της ΤΝ. Η αρχιτεκτονική αυτή ϐασίζεται σε ένα ενιαίο µοντέλο δεδοµένων και µεταδεδοµένων που επιτρέπει αυτοµατοποιηµένες ϱοές πληροφορίας, ϐελτιώνοντας τη συντηρησιµότητα και την αναπαραγωγιµότητα. Για την αντιµετώπιση της αυξανόµενης πολυπλοκότητας, εισάγεται η έννοια της «Επαυξηµένης Λειτουργίας» (Augmented Operations), όπου η αλληλεπίδραση ανϑρώπου–µηχανής ενισχύεται µέσω Γενετικής ΤΝ και διεπαφών ϕυσικής γλώσσας (chatbots, voice assistants). Οι ευφυείς πράκτορες λειτουργούν ως ενδιάµεσοι µεταξύ χρηστών και συστηµάτων ΤΝ, επιτρέποντας υψηλού επιπέδου ερωτήµατα και αυτοµατοποιηµένη εκτέλεση σύνθετων εργασιών. Τέλος, προτείνεται η διαδικασία Trustworthiness Optimisation Process (TOP), µια κυκλική µεθοδολογία τεσσάρων σταδίων (Identify, Assess, Explore, Enhance) για τη συνεχή αξιολόγηση και ϐελτίωση της αξιοπιστίας. Ως τεχνική απόδειξη παρουσιάζεται το σύστηµα Trustproofer, ένα νευρο-συµβολικό πλαίσιο που συνδυάζει λογικούς κανόνες µε νευρωνικά δίκτυα για συµµόρφωση,µάθηση και προσαρµογή. Συνολικά, η διατριβή ϑεµελιώνει το πεδίο των Trustworthy AI Operations, δείχνοντας ότι η αξιοπιστία και η αυτονοµία µπορούν να συνυπάρξουν µέσω ολοκληρωµένων και ανθρωποκεντρικών διαδικασιών λειτουργίας.