Development of a model for organizational interoperability assessment of services and information systems in public administration

Abstract

The doctoral dissertation proposes a new model for assessing organizational interoperability of digital services and information systems in Public Administration. It includes an extensive literature review on interoperability and investigates the research gaps regarding the integration of the organizational dimension. It incorporates a comparative evaluation of existing models, frameworks, and assessment tools, highlighting the deficiencies and weaknesses for a holistic evaluation of organizational interoperability. The research introduces MOIA (Model for Organizational Interoperability Assessment) which expands previous research approaches and provides a reliable method with clear metrics tested in real case scenarios from Public Administration. The proposed MOIA model, with the accompanying instrument TOIA (Tool for Organizational Interoperability Assessment), provides answers to two fundamental research questions, RQ1: What are the factors that contribute to achieving organizational interoperability? and RQ2: What is the most effective method for evaluating the achievement of organizational interoperability? The proposed MOIA model comprises 34 variables thematically grouped into 9 factors. The development process followed a mixed-method approach, incorporating quantitative and qualitative techniques, European guidelines, best practices, and field expertise. Multiple cycles of implementation contributed to the gradual enhancement and expansion of the model and the tool, through quantitative assessment of the organizational interoperability of digital public services, across several policy areas and different administrative levels, and large-scale implementations (ESIDIS, GOV.gr). A pilot application of the model was conducted in an educational environment. Experts from the public, private, and academic sectors evaluated and provided qualitative data on the variables, factors, and overall structure of the model. A scoring vector was produced using the AHP method, and weighted scores were calculated for all variables and factors of the MOIA model. The development approach for MOIA model is dynamic and scales the research, technically allowing for update and enhancement by incorporating variables and factors that will reflect the ever-changing challenges in the field of digital policy. The overall validation of the reliability, structural validity, and consistency of the factors and variables was carried out at the various stages of development, through quantitative analysis and ranking of factors using the AHP method, and finally through statistical evaluation (utilizing a structured questionnaire with a 5-point Likert scale, addressed to a wide target group from the private, public, and academic sectors on a national and European basis). The Factor Analysis method verified the strong internal consistency of the model's structure and its technical reliability, while also confirming the apparent grouping of variables into individual factors. The Reliability Analysis validated the relevance and consistency of the variables and factors, demonstrating that they measure the same conceptual dimension, the Descriptive Analysis highlighted the same deviation across all scales, while the Power Analysis confirmed the reliability of the findings and the potential for generalized conclusions.

Η διδακτορική διατριβή προτείνει ένα νέο μοντέλο αξιολόγησης Οργανωσιακής διαλειτουργικότητας ψηφιακών υπηρεσιών και πληροφοριακών συστημάτων στη Δημόσια Διοίκηση. Περιλαμβάνει εκτενή βιβλιογραφική ανασκόπηση της διαλειτουργικότητας, επικεντρώνεται στη διερεύνηση των ερευνητικών κενών ως προς την ολοκλήρωση της Οργανωσιακής διάστασης και ενσωματώνει συγκριτική αξιολόγηση υπαρχόντων μοντέλων, πλαισίων και εργαλείων αξιολόγησης. Αναδεικνύει τις ελλείψεις και αδυναμίες ως προς την ολοκληρωμένη και μετρήσιμη αποτίμηση αυτής, τεκμηριώνοντας την αναγκαιότητα ανάπτυξης ενός νέου, επαυξημένου μοντέλου αξιολόγησης. H έρευνα εισάγει το MOIA (Model for Organizational Interoperability Assessment) ως ένα νέο μοντέλο αξιολόγησης Οργανωσιακής διαλειτουργικότητας, το οποίο επεκτείνει προηγούμενες ερευνητικές προσεγγίσεις και προσφέρει μια αξιόπιστη, μετρήσιμη μέθοδο επικυρωμένη σε πραγματικά σενάρια της Δημόσιας Διοίκησης. Το προτεινόμενο μοντέλο MOIA μαζί με το συνοδευτικό εργαλείο TOIA (Tool for Organizational Interoperability Assessment) δίνει απαντήσεις σε δύο βασικά ερευνητικά ερωτήματα, RQ1: Ποιοι οι παράγοντες που συνεισφέρουν στην επίτευξη της Οργανωσιακής διαλειτουργικότητας; και RQ2: Ποια είναι η πιο αποτελεσματική μέθοδος αξιολόγησης της επίτευξης Οργανωσιακής διαλειτουργικότητας; Το προτεινόμενο μοντέλο MOIA περιλαμβάνει 34 μεταβλητές αξιολόγησης Οργανωσιακής διαλειτουργικότητας θεματικά ομαδοποιημένες σε 9 παράγοντες. Η ανάπτυξη ακολούθησε συνδυαστική μεθοδολογική προσέγγιση, ενσωματώνοντας ποσοτικές και ποιοτικές τεχνικές, ευρωπαϊκές κατευθυντήριες οδηγίες, βέλτιστες πρακτικές και εμπειρογνωμοσύνη του πεδίου. Οι πολλαπλοί κύκλοι εφαρμογής, συνέβαλαν στην αξιολόγηση και κλιμακωτή βελτίωση και επαύξηση του μοντέλου και του εργαλείου. Διενεργήθηκε ποσοτική αξιολόγηση της Οργανωσιακής διαλειτουργικότητας ψηφιακών δημόσιων υπηρεσιών, από διαφορετικούς τομείς πολιτικής και από διαφορετικά διοικητικά επίπεδα και μεγάλων υλοποιήσεων της ψηφιακής διακυβέρνησης (ΕΣΗΔΗΣ,GOV.gr) ενώ έγινε και πιλοτική εφαρμογή του μοντέλου σε εκπαιδευτικό περιβάλλον. Εμπειρογνώμονες από τον δημόσιο, ιδιωτικό και ακαδημαϊκό τομέα, αξιολόγησαν και παρείχαν ποιοτικά δεδομένα για τις μεταβλητές, τους παράγοντες και εν γένει τη συνολική δομή του μοντέλου. Παρήχθη διάνυσμα βαθμολόγησης με χρήση της μεθόδου AHP και υπολογίστηκαν σταθμισμένα βάρη για όλες τις μεταβλητές και τους παράγοντες του μοντέλου ΜΟΙΑ. Η μεθοδολογία ανάπτυξης του μοντέλου είναι δυναμική και κλιμακώνει την έρευνα, παρέχοντας τεχνικά τη δυνατότητα επικαιροποίησης και επαύξησης με ενσωμάτωση μεταβλητών και παραγόντων, που θα αντανακλούν τις διαρκώς μεταβαλλόμενες προκλήσεις στο πεδίο της ψηφιακής πολιτικής. Η επικύρωση αξιοπιστίας, δομικής εγκυρότητας και συνοχής των παραγόντων και μεταβλητών του μοντέλου ΜΟΙΑ πραγματοποιήθηκε στα διάφορα στάδια ανάπτυξης, με τη μέθοδο AHP και με στατιστική αξιολόγηση (αξιοποίηση δομημένου εργαλείου-ερωτηματολογίου με 5-βάθμια κλίμακα Likert, ευρεία ομάδα στόχος από τον ιδιωτικό, δημόσιο, ακαδημαϊκό τομέα σε εθνική και ευρωπαϊκή βάση). Η μέθοδος Factor Analysis επαλήθευσε την ισχυρή εσωτερική συνοχή της δομής του μοντέλου και την τεχνική του αξιοπιστία καθώς και την φαινομενική ομαδοποίηση των μεταβλητών σε επιμέρους παράγοντες. Η μέθοδος Reliability Analysis επικύρωσε τη συνάφεια και τη συνεκτικότητα των μεταβλητών και των παραγόντων και απέδειξε ότι μετρούν την ίδια εννοιολογική διάσταση, η Descriptive Analysis ανέδειξε την ίδια απόκλιση για όλες τις κλίμακες, ενώ η μέθοδος Power Analysis επιβεβαίωσε την αξιοπιστία των ευρημάτων και τη δυνατότητα για εξαγωγή γενικευμένων συμπερασμάτων.