Artificial intelligence, between the global and the national: beyond fictional metrics

Abstract

Artificial Intelligence (AI) is increasingly embedded in the fabric through which societies produce knowledge, govern institutions, and pursue economic and social objectives. In this dissertation I examine what it means to measure AI under these conditions of integration, and how the integration of AI into scientific and technological practice challenges the ontological and epistemic assumptions of conventional science and technology (S&T) indicator frameworks. I argue that “measuring AI” is not a purely technical practice in indicator selection, but a socio-technical and governance-oriented endeavor about what becomes visible, actionable and contestable in policy and institutional decision-making - and what remains structurally obscured. Chapter 2 and Chapter 3 situate this argument historically by tracing how S&T indicators emerged as instruments for governing complex knowledge systems, became institutionalized through international organizations (notably the OECD, UNESCO, and the European Union), and were subsequently problematized by STS scholarship and responsible-metrics debates that emphasize the performativity of indicators and their role in governance by metrics. In Chapter 4, I first delineate how AI is framed in global policy discourse i.e. in established international bodies, specialized expert groups and national strategies, and show how these international frameworks and national narratives stabilize certain understandings of AI and in turn shape what is considered as measurable. I then examine the ecosystem of global AI indicator frameworks, describing their conceptual and methodological underpinnings. In Chapter 5, I compare these national narratives/topics with the conceptual (in terms of what) and methodological (in terms of how) frameworks of leading global AI indicator frameworks. For conducting this, I use a mixed-method approach that combines quantitative topic modelling with qualitative interpretation to identify dominant topics and policy priorities. This analysis reveals a structural misalignment. While national AI strategies increasingly emphasize ethical commitments, societal impacts, and nation-specific challenges (i.e., health, education, agriculture), global indicator frameworks continue to privilege capacity-oriented proxies that are easy to standardize such as investment levels, talent pipelines, and volumes of research and innovation output, thereby co-producing a narrower policy understanding of progress in the age of AI. In Chapter 6, I examine how AI is reshaping the processes and practices of scientific knowledge production. Through a synthetic literature review, I analyze how the integration of AI into research, publishing, and evaluation challenges established practices - ultimately reshaping foundational notions of authorship, labor, data and compute dependencies, and validation. The review results indicate that AI disrupts not only the operational adequacy of conventional S&T indicators (publications, citations, patents, and R&D expenditure), but also their epistemic authority, weakening the assumed link between these proxies and genuine scientific contribution. In light of such shifts, I review emerging proposals for new, AI-aware metrics that not only acknowledge the limitations of conventional S&T indicators but also treat ethical grounding and societal responsiveness as integral dimensions of what constitutes progress in the age of AI. In Chapter 7, I explore the role of science in addressing what is commonly referred to in literature as existential risks associated with artificial intelligence. I then argue that prevailing measurement paradigms should evolve to evaluate AI-enabled research in terms of its contribution to broader societal priorities, including the Sustainable Development Goals (SDGs). In Chapter 8, considering AI’s systemic risk profile and the growing debate around existential risk horizons, the dissertation advances an AI-aware measurement paradigm oriented toward public value, responsibility, and anticipatory governance. I translate this argument into policy-relevant recommendations for Greece, proposing a national AI Observatory that moves beyond the metrics paradigm to integrate three interrelated components: (i) Sustainable Development Goals (SDG)-oriented measuring and monitoring of AI-enabled research pathways, (ii) risk-oriented measuring and monitoring via scenarios and institutional readiness signals, and (iii) incident-based measuring and monitoring of local AI use and misuse, feeding back into preparedness and oversight. Crucially, I argue that this architecture can only function as anticipatory regulation if it is designed as a participatory governance infrastructure that translates contested values into indicators and policy triggers through public engagement, thereby making early warnings democratically legitimate and practically actionable. Through these contributions, this dissertation aspires to provide a pathway for reorienting science and technology measurement in the age of AI. It argues that moving beyond fictional or narrow capacity metrics requires treating measurement as a reflexive socio-technical and governance-oriented endeavor - one that is ethically embedded, societally responsive, and capable of capturing the complex transformations of knowledge production. By diagnosing the politics of conventional indicators, mapping their misalignment with policy narratives, systematizing AI’s disruptive effects on research processes, and proposing a concrete observatory mechanism for Greece, I develop a measuring and monitoring framework that opens up the black box of metrics, holding them accountable not only to technological change but to the full spectrum of societal, epistemic, and normative complexities that AI brings into focus.

Η Τεχνητή Νοημοσύνη (ΤΝ) ενσωματώνεται ολοένα και περισσότερο στον ιστό μέσω του οποίου οι κοινωνίες παράγουν γνώση, διοικούν θεσμούς και επιδιώκουν οικονομικούς και κοινωνικούς στόχους. Στην παρούσα διδακτορική διατριβή εξετάζω τι σημαίνει η «μέτρηση της Τεχνητής Νοημοσύνης» υπό αυτές τις συνθήκες και πώς αυτή η ενσωμάτωση της ΤΝ στις επιστημονικές και τεχνολογικές διαδικασίες και πρακτικές θέτει υπό αμφισβήτηση οντολογικές και επιστημολογικές υποθέσεις των συμβατικών μετρικών επιστήμης και τεχνολογίας (Ε&Τ). Υποστηρίζω ότι η «μέτρηση της Τεχνητής Νοημοσύνης» δεν αφορά απλώς μια τεχνική διαδικασία η οποία στηρίζεται στην επιλογή διαθέσιμων μετρικών, αλλά μια κοινωνικο-τεχνική και διακυβερνητικά προσανατολισμένη προσπάθεια που αφορά το τι γίνεται αντιληπτό, εφαρμόσιμο και αμφισβητήσιμο στη λήψη αποφάσεων - καθώς και το τι παραμένει μη ορατό. Το Κεφάλαιο 2 τοποθετεί το παραπάνω επιχείρημα σε ιστορικό πλαίσιο, ανιχνεύοντας τον τρόπο με τον οποίο οι δείκτες Ε&Τ αναδύθηκαν ως εργαλεία για τη διακυβέρνηση πολύπλοκων συστημάτων γνώσης, θεσμοθετήθηκαν μέσω διεθνών οργανισμών (ιδίως του ΟΟΣΑ, της UNESCO και της Ευρωπαϊκής Ένωσης) και στη συνέχεια έγιναν αντικείμενο μελέτης και κριτικής από τη βιβλιογραφία των Σπουδών Επιστήμης και Τεχνολογίας, σχετικά με την λειτουργικότητα και τον ρόλο τους ως προς την ευρύτερη διακυβέρνηση βασισμένη σε ποσοτικά τεκμήρια. Στο Κεφάλαιο 3, εξετάζω τους βασικούς δρώντες και τις υφιστάμενες μετρικές επιστήμης και τεχνολογίας στο πεδίο της επιστημονικής και τεχνολογικής πολιτικής. Στα Κεφάλαια 4 και 5 αποτυπώνω τον τρόπο με τον οποίο πλαισιώνεται η ΤΝ στον παγκόσμιο πολιτικό λόγο, αναλύοντας έγγραφα σχετιζόμενα με τις εθνικές στρατηγικές για την ΤΝ 43 χωρών. Για τον σκοπό αυτό, η μεθοδολογία που χρησιμοποιώ συνδυάζει την ποσοτική μοντελοποίηση θεματικών με την ποιοτική ερμηνεία αυτών για την ταυτοποίηση κυρίαρχων θεμάτων και πολιτικών προτεραιοτήτων. Στη συνέχεια, συγκρίνω αυτά τα εθνικά αφηγήματα/θεματικές με τα εννοιολογικά (ως προς το τι μετρούν) και μεθοδολογικά πλαίσια (ως προς το πώς μετρούν) των διαθέσιμων παγκόσμιων μετρικών για την ΤΝ. Το αποτέλεσμα της ανάλυσης αποκαλύπτει την παρακάτω δομική ασυμφωνία. Ενώ οι εθνικές στρατηγικές ΤΝ τονίζουν ηθικές δεσμεύσεις, κοινωνικά αντίκτυπα και συγκεκριμένες προκλήσεις σε εθνικό επίπεδο (π.χ. εκπαίδευση, υγεία, γεωργία κ.λπ.), οι παγκόσμιες μετρικές για την ΤΝ συνεχίζουν να αποτυπώνουν δείκτες οι οποίοι είναι εύκολο να μετρηθούν και βασίζονται πρωταρχικά σε αριθμό επενδύσεων, ανθρώπινο κεφάλαιο, επιστημονικές επιδόσεις και επίπεδα καινοτομίας, συν-διαμορφώνοντας με αυτόν τον τρόπο μια σαφώς στενότερη κατανόηση ως προς τι συνιστά πρόοδο την εποχή της ΤΝ. Στο Κεφάλαιο 6, εξετάζω πώς η ΤΝ ανασχηματίζει τις διαδικασίες και τις πρακτικές της επιστημονικής παραγωγής γνώσης. Μέσω μιας συνθετικής βιβλιογραφικής επισκόπησης, αναλύω πώς η ενσωμάτωση της ΤΝ στην έρευνα, την παραγωγή δημοσιεύσεων και την αξιολόγηση αμφισβητεί καθιερωμένες πρακτικές – ανασχηματίζοντας τελικά θεμελιώδεις έννοιες όπως η συγγραφή, η εργασία, τα δεδομένα και υπολογιστικοί πόροι, και η επιστημονική εγκυρότητα. Τα ευρήματα της επισκόπησης δείχνουν ότι η ΤΝ διαταράσσει όχι μόνο την επιχειρησιακή επάρκεια των συμβατικών δεικτών Ε&Τ (δημοσιεύσεις, αναφορές, διπλώματα ευρεσιτεχνίας και δαπάνες Έρευνας & Τεχνολογικής Ανάπτυξης), αλλά και την επιστημολογική τους εγκυρότητα, αποδυναμώνοντας την υποτιθέμενη σύνδεση μεταξύ αυτών και της αυθεντικής επιστημονικής συνεισφοράς. Δεδομένων αυτών των προβληματισμών, επιχειρώ μια επισκόπηση για αναδυόμενες προτάσεις σχετικά με νέους δείκτες σχετιζόμενους με την ΤΝ, οι οποίοι όχι μόνο αναγνωρίζουν τους περιορισμούς των συμβατικών δεικτών Ε&Τ, αλλά αντιμετωπίζουν την ηθική θεμελίωση και την κοινωνική ανταπόκριση ως διαστάσεις του τι συνιστά πρόοδο την εποχή της ΤΝ. Στα Κεφάλαια 7 και 8, λαμβάνοντας υπόψη τους υπαρξιακούς κινδύνους σχετικούς με την ΤΝ, προτείνω ένα πλαίσιο μέτρησης και παρακολούθησης για την ΤΝ, προσανατολισμένο προς τη δημόσια αξία, την ευθύνη και την προνοητική διακυβέρνηση. Αυτή η σύσταση μεταφράζεται ως ένα Εθνικό Παρατηρητήριο ΤΝ για την ελληνική περίπτωση το οποίο θα είναι λειτουργικό πέρα από το παράδειγμα των μετρικών ενσωματώνοντας παράλληλα τρία αλληλένδετα στοιχεία: (i) Μέτρηση και παρακολούθηση της έρευνας που σχετίζεται με την ΤΝ ως προς τη σύνδεσή της με τους Στόχους Βιώσιμης Ανάπτυξης (ii) Μέτρηση και παρακολούθηση προσανατολισμένη στους κινδύνους σχετικούς με την ΤΝ μέσω σεναρίων και πρακτικών θεσμικής ετοιμότητας και (iii) Μέτρηση και παρακολούθηση βασισμένη σε περιπτώσεις της χρήσης και κατάχρησης της ΤΝ σε εθνικό επίπεδο. Τέλος, υποστηρίζω ότι αυτή η αρχιτεκτονική μπορεί να λειτουργήσει μόνο εάν σχεδιαστεί ως μια συμμετοχική υποδομή διακυβέρνησης η οποία «συνδιαμορφώνει» τους δείκτες μέσω της δημόσιας συμμετοχής. Μέσω αυτών των συνεισφορών, η διατριβή επιδιώκει να χαράξει έναν συνεκτικό δρόμο για τον επαναπροσδιορισμό της μέτρησης της επιστήμης και της τεχνολογίας στην εποχή της ΤΝ. Υποστηρίζει ότι για την κατανόηση της αξίας της μέτρησης απαιτείται να αντιμετωπιστεί η ίδια η μέτρηση ως μια αντανακλαστική, κοινωνικο-τεχνική και διακυβερνητικά προσανατολισμένη διαδικασία η οποία είναι ηθικά και κοινωνικά ανταποκρινόμενη και ικανή να καταγράφει τους πολύπλοκους μετασχηματισμούς της παραγωγής γνώσης. Κατανοώντας την πολιτική των υφιστάμενων μετρικών, χαρτογραφώντας τη δομική τους ασυμφωνία με τα πολιτικά αφηγήματα, εξερευνώντας τις επιδράσεις της ΤΝ στην έρευνα και προτείνοντας έναν συγκεκριμένο μηχανισμό παρατηρητηρίου για την Ελλάδα, αναπτύσσω ένα πλαίσιο μέτρησης και παρακολούθησης το οποίο ανοίγει το «μαύρο κουτί» της διαδικασίας της μέτρησης συσχετίζοντάς την όχι μόνο με την τεχνολογική πρόοδο, αλλά με το πλήρες φάσμα των κοινωνικών, επιστημολογικών και κανονιστικών πολυπλοκοτήτων που η ΤΝ φέρνει στο προσκήνιο.