Τεχνητή νοημοσύνη, προκαταλήψεις και διαφάνεια: προς δίκαια, ερμηνεύσιμα και αξιόπιστα συστήματα

Abstract

The concept of the “black box” symbolizes systems or processes whose inner workings are hidden, opaque, or poorly understood. In the context of artificial intelligence (AI), this notion hasbecome a central critique, reflecting the lack of transparency in AI decision-making. Yet, the black box in AI extends far beyond the model itself, encompassing the processes, interactions,and societal implications that surround AI systems. This thesis adopts a multidimensional perspective on black-boxing, exploring not only the opacity of AI models but also the hidde nlayers of explanation mechanisms and societal biases.The research begins with the most familiar black box: the AI system. Modern AI models, especially deep learning systems, are notoriously complex and difficult to interpret. By introducing semantic explanations that leverage knowledge graphs and prototypes, this thesis presents methods to bridge the gap between AI decision-making and human understanding,aligning system behavior with interpretable and intuitive representations. The focus then shifts to a subtler black box, the processes behind explainers and explanations themselves. While intended to clarify AI decisions, explanations can obscure their ownlimitations, leaving users with a partial or misleading understanding. This thesis investigates the design and evaluation of explanations, proposing methods that enhance their reliability,consistency, and alignment with user objectives.Finally, we turn to a black box that is often confronted bluntly: bias. Whether algorithmic or embedded in language, bias is frequently approached with a seek-and-destroy mindset, wherethe goal is to detect and suppress, rather than understand or address it. In the case of algorithmic bias, this thesis moves beyond plain detection to explore its underlying sources,tracing how gender stereotypes emerge within AI systems through their interaction with training data and real-world structures. Focusing on occupational terms in machine translation, weexamine how models respond to gender ambiguity, often resolving it through stereotypical defaults, revealing that such biases are not mere reflections of reality but are shaped by thesystem’s design and data. Shifting focus from model behavior to human-authored data, we explore the biases encoded in cultural heritage metadata. Here, rather than erasing harmfullanguage, we aim to contextualize it, developing tools that detect and surface contentious terms to support informed curation. Across both cases, this thesis advocates for a more nuancedengagement with bias, one that opens the black box rather than simply silencing its contents.By approaching the black box in its various forms—AI systems, explanations, algorithmic biases, and societal nuances—this thesis offers a cohesive framework for understanding andaddressing the multifaceted challenges of AI transparency. It argues that opening these black boxes is essential to developing AI systems that are fair, interpretable, and aligned with humanvalues in an increasingly complex world.

Η έννοια του «μαύρου κουτιού» συμβολίζει συστήματα ή διαδικασίες των οποίων η εσωτερική λειτουργία παραμένει κρυφή, αδιαφανής ή δύσκολα κατανοητή. Στο πλαίσιο της τεχνητής νοημοσύνης (ΤΝ), αυτή η έννοια έχει καταστεί βασικό σημείο κριτικής, αντικατοπτρίζοντας την έλλειψη διαφάνειας στη λήψη αποφάσεων από συστήματα ΤΝ. Ωστόσο, το «μαύρο κουτί» στηνΤΝ εκτείνεται πολύ πέρα από το ίδιο το μοντέλο, περιλαμβάνοντας τις διαδικασίες, τις αλληλεπιδράσεις και τις κοινωνικές επιπτώσεις που περιβάλλουν τα συστήματα ΤΝ. Η παρούσα διατριβή υιοθετεί μια πολυδιάστατη προσέγγιση στο φαινόμενο του black-boxing, εξερευνώντας όχι μόνο την αδιαφάνεια των μοντέλων ΤΝ, αλλά και τα αφανή επίπεδα των μηχανισμών εξήγησης και των κοινωνικών προκαταλήψεων, με στόχο τη δημιουργία δίκαιων, ερμηνεύσιμων, και αξιόπιστων συστημάτων. Η έρευνα ξεκινά με το πιο γνώριμο μαύρο κουτί: το ίδιο το σύστημα ΤΝ. Τα σύγχρονα μοντέλα, ιδιαίτερα αυτά της βαθιάς μάθησης, είναι γνωστά για την πολυπλοκότητά τους και τη δυσκολία κατανόησής τους. Εισάγοντας σημασιολογικές εξηγήσεις που αξιοποιούν γράφους γνώσης και πρωτότυπα παραδείγματα, η διατριβή αυτή παρουσιάζει μεθόδους που συμβάλλουν στη γεφύρωση του χάσματος ανάμεσα στις αποφάσεις της ΤΝ και την ανθρώπινη κατανόηση, ευθυγραμμίζοντας τη συμπεριφορά του συστήματος με ερμηνεύσιμες και διαισθητικές αναπαραστάσεις. Στη συνέχεια, η προσοχή στρέφεται σε ένα διαφορετικό μαύρο κουτί: τις μεθόδους εξήγησης και τις ίδιες τις εξηγήσεις. Αν και αποσκοπούν στη αποσαφήνιση των αποφάσεων της ΤΝ, οι εξηγήσεις μπορούν να αποκρύπτουν τους δικούς τους περιορισμούς, αφήνοντας τους χρήστες με μερική ή παραπλανητική κατανόηση. Η διατριβή διερευνά τον σχεδιασμό και την αξιολόγησητων εξηγήσεων, προτείνοντας μεθόδους που ενισχύουν την αξιοπιστία, τη συνέπεια και την ευθυγράμμιση με τους στόχους των χρηστών. Τέλος, εστιάζουμε στις προκαταλήψεις. Είτε είναι αλγοριθμική είτε ενσωματωμένη στη γλώσσα, η προκατάληψη συχνά αντιμετωπίζεται σαν μαύρο κουτί, με τη λογική της ανίχνευσης και εξάλειψης, χωρίς βαθύτερη κατανόηση ή επεξεργασία. Στην περίπτωση της αλγοριθμικής προκατάληψης, η διατριβή προχωράει πέρα από την απλή ανίχνευση, ερευνώντας τις υποκείμενες πηγές της, εντοπίζοντας πώς τα έμφυλα στερεότυπα αναδύονται μέσα από την αλληλεπίδραση των συστημάτων ΤΝ με τα δεδομένα εκπαίδευσης και τις κοινωνικές δομές. Εστιάζοντας σε επαγγελματικούς όρους στην αυτόματη μετάφραση, εξετάζουμε πώς τα μοντέλα ανταποκρίνονται στην ασάφεια φύλου, συχνά επιλέγοντας στερεοτυπικές λύσεις, φανερώνοντας ότι τέτοιες προκαταλήψεις δεν είναι απλές αναπαραστάσεις της πραγματικότητας αλλά διαμορφώνονται από τον σχεδιασμό και τα δεδομένα του συστήματος. Μετατοπίζοντας την προσοχή από τη συμπεριφορά του μοντέλου στα δεδομένα που έχουν παραχθεί από ανθρώπους, διερευνούμε τις προκαταλήψεις που ενσωματώνονται στα μεταδεδομένα πολιτιστικής κληρονομιάς. Εδώ, αντί να διαγράψουμε την προσβλητική ή προβληματική γλώσσα, επιδιώκουμε να την πλαισιώσουμε, αναπτύσσοντας εργαλεία που εντοπίζουν και επεξηγούν επίμαχους όρους για να ενημερώσουν, αντί να αποκρύψουν το πρόβλημα. Και στις δύο περιπτώσεις, η διατριβή υποστηρίζει μια πιο σύνθετη προσέγγιση στην προκατάληψη, που δεν φιμώνει το μαύρο κουτί αλλά το ανοίγει. Προσεγγίζοντας το μαύρο κουτί στις ποικίλες του μορφές — συστήματα ΤΝ, εξηγήσεις, αλγοριθμικές προκαταλήψεις και κοινωνικές γλωσσικές προκαταλήψεις — η διατριβή αυτή προσφέρει ένα συνεκτικό πλαίσιο κατανόησης και αντιμετώπισης των πολύπλευρων προκλήσεων που σχετίζονται με τη διαφάνεια στην ΤΝ. Υποστηρίζω ότι το άνοιγμα αυτών των μαύρων κουτιών είναι ουσιώδες για την ανάπτυξη συστημάτων ΤΝ που είναι δίκαια, ερμηνεύσιμα, και αξιόπιστα σε έναν ολοένα και πιο σύνθετο κόσμο.