From knowledge graphs to insights: cognitive and geospatial analysis and visualization of linked data

Abstract

In recent years, the rapid growth of Semantic Web technologies has brought forth unprecedented opportunities for enriched data representation, Knowledge Graph construction, and services that harness the power or linked data. However, the challenge remains in making linked data accessible to users across diverse domains. There are two main barriers that users face when they design applications that are powered by linked data. First, these applications necessitate the integration of interlinked subsets from different Knowledge Graphs to perform analytical operations. Second, such applications must feature intuitive interfaces that empower end-users to effectively navigate linked data structures and extract meaningful insights. This dissertation addresses these challenges through two principal contributions: (i) Sextant, a web-based system for the visualization and exploration of linked geospatial data, that models maps as RDF resources and provides tools to interact with the data to extract insights and (ii) MindCraft, a system that implements ``Semantic Selective Attention'', a cognitively-inspired methodology for subgraph extraction from Knowledge Graphs, that assists users in designing personalized interlinked subgraphs to fuel their applications. Collectively, these systems mitigate the inherent barriers of linked data consumption, enabling application development and knowledge discovery. Sextant builds on the foundation of Semantic Web technologies to provide a versatile system for dynamic map composition, where geospatial datasets, enriched with temporal and thematic dimensions, can be visualized and queried. Empirical evaluation utilizing the System Usability Scale yielded an "Excellent" rating, indicating that the system is well-aligned with the user needs and successfully mitigated the complexities of linked geospatial data analysis and visualization. By abstracting the complexity of SPARQL querying and RDF data modeling, Sextant has been deployed across multiple European projects to make linked data accessible to practitioners in fields like environmental monitoring, emergency response, and urban analytics. MindCraft’s methodology utilizes cognitive constructs such as Episodic Memory, Working Memory, and Semantic Memory in subgraph extraction. Drawing inspiration from Baddeley’s Working Memory Model, MindCraft aims to improve the usability and interpretability of extracted data, while aligning closely with human memory and cognition processes. The system guides the user through the ontology schema of the Knowledge Graph, to select classes and properties that are used to build their subgraphs. It supports subgraph interlinking using entity resolution, and integrates with Large Language Models to further augment a subgraph. An empirical assessment using the System Usability Scale classified MindCraft's usability as "Excellent", indicating that the system effectively supports users in constructing and extracting semantically coherent subgraphs. To further investigate how the proposed methodology shapes the user experience during subgraph extraction, we conducted a Thematic Analysis that demonstrates that the ``Semantic Selective Attention'' paradigm aligns closely with users’ natural cognitive processes, and shows how MindCraft emerges as a system for subgraph extraction that introduces new forms of engagement that simultaneously empower users while exposing AI-limitations related to trust and transparency.Together, MindCraft and Sextant establish a unified, two-stage framework for Linked Data analysis. In the first stage, MindCraft allows users to navigate large Knowledge Graphs, apply ``Semantic Selective Attention'', integrate prior knowledge, and extract semantically coherent and interconnected subgraphs. In the second stage, Sextant receives these extracted datasets and translates them into interactive, multi-layered cartographic visualizations. The development and evaluation of both systems demonstrate that the Semantic Web can become significantly more accessible without compromising the power and expressiveness of its tools. This is achieved through suitably designed interfaces that simplify access by masking complex technical challenges, and empower both beginners and domain experts in these technologies to utilize linked data for analysis and extraction of meaningful insights.

Τα τελευταία χρόνια, η ραγδαία αύξηση των τεχνολογιών Σημασιολογικού Ιστού έχει προσφέρει πρωτοφανείς ευκαιρίες στην αναπαράσταση και τον εμπλουτισμό δεδομένων, την δημιουργία Γράφων Γνώσης, και σε υπηρεσίες που αξιοποιούν τα διασυνδεδεμένα δεδομένα. Ωστόσο, παραμένει η πρόκληση της αξιοποίησης αυτών των δεδομένων από χρήστες σε ποικίλους τομείς. Υπάρχουν δύο κύρια εμπόδια που αντιμετωπίζουν οι χρήστες όταν σχεδιάζουν εφαρμογές που βασίζονται σε συνδεδεμένα δεδομένα. Πρώτον, οι εφαρμογές αυτές απαιτούν την ενσωμάτωση διασυνδεδεμένων υποσυνόλων από διαφορετικούς Γράφους Γνώσης για την εκτέλεση αναλυτικών λειτουργιών. Δεύτερον, οι εν λόγω εφαρμογές πρέπει να διαθέτουν εύχρηστες διεπαφές που να επιτρέπουν στους τελικούς χρήστες να πλοηγούνται αποτελεσματικά σε δομές συνδεδεμένων δεδομένων και να εξάγουν ουσιαστική γνώση. Η παρούσα διατριβή αντιμετωπίζει αυτή την πρόκληση μέσω δύο βασικών συνεισφορών: (i) του συστήματος Sextant για την οπτικοποίηση και εξερεύνηση συνδεδεμένων γεωχωρικών δεδομένων, το οποίο μοντελοποιεί χάρτες ως RDF resources και παρέχει εργαλεία αλληλεπίδρασης με τα δεδομένα για την εξαγωγή συμπερασμάτων, και (ii) του συστηματος MindCraft που υλοποιεί τη ``Σημασιολογική Επιλεκτική Προσοχή'', μια μεθοδολογία εξαγωγής υπογράφων από Γράφους Γνώσης εμπνευσμένη από τη Γνωσιακή επιστήμη, η οποία βοηθά τους χρήστες να σχεδιάζουν εξατομικευμένους διασυνδεδεμένους υπογράφους για την τροφοδότηση των εφαρμογών τους. Συλλογικά, τα συστήματα αυτά μετριάζουν τα εγγενή εμπόδια στην χρήση των συνδεδεμένων δεδομένων, επιτρέποντας την ανάπτυξη εφαρμογών και την ανακάλυψη γνώσης.Το Sextant βασίζεται στις θεμελιώδεις αρχές των τεχνολογιών του Σημαντικού Ιστού για να παράσχει ένα ευέλικτο σύστημα δυναμικής σύνθεσης χαρτών, όπου γεωχωρικά σύνολα δεδομένων, εμπλουτισμένα με χρονικές και θεματικές διαστάσεις, μπορούν να οπτικοποιηθούν και να αναλυθούν. Η εμπειρική αξιολόγηση με χρήση της Κλίμακας Ευχρηστίας Συστήματος απέδωσε βαθμολογία "Εξαιρετική", υποδεικνύοντας ότι το σύστημα είναι ευθυγραμμισμένο με τις ανάγκες των χρηστών και αντιμετώπισε επιτυχώς τις προκλήσεις της ανάλυσης και οπτικοποίησης των διασυνδεδεμένων γεωχωρικών δεδομένων. Απλοποιώντας την πολυπλοκότητα των ερωτημάτων SPARQL και τη μοντελοποίηση των δεδομένων στο μοντέλο RDF, το Sextant έχει χρησιμοποιηθεί σε πολλά ευρωπαϊκά έργα, καθιστώντας τα συνδεδεμένα δεδομένα προσβάσιμα σε επαγγελματίες σε τομείς όπως η περιβαλλοντική παρακολούθηση, η αντιμετώπιση εκτάτων αναγκών και η αστική ανάλυση. Το MindCraft αξιοποιεί γνωστικές έννοιες όπως η επεισοδιακή μνήμη, η εργαζόμενη μνήμη και η σημασιολογική μνήμη στην εξαγωγή υπογράφων. Αντλώντας έμπνευση από το Μοντέλο Εργαζόμενης Μνήμης του Baddeley, το MindCraft προσπαθεί να βελτιώσει τη χρηστικότητα και την ερμηνευσιμότητα των εξαγόμενων δεδομένων, ενώ παράλληλα ευθυγραμμίζεται με τις διαδικασίες ανθρώπινης σκέψης. Το σύστημα καθοδηγεί τον χρήστη μέσω του σχήματος της οντολογίας του Γράφου Γνώσης, ώστε να επιλέξει κλάσεις και ιδιότητες που χρησιμοποιούνται για τη δημιουργία των υπογράφων του. Υποστηρίζει τη διασύνδεση υπογράφων με χρήση entity resolution και ενσωματώνεται με Μεγάλα Γλωσσικά Μοντέλα για τον περαιτέρω εμπλουτισμό ενός υπογράφου. Μια εμπειρική αξιολόγηση με χρήση της Κλίμακας Ευχρηστίας Συστήματος κατέταξε την ευχρηστία του MindCraft ως "Εξαιρετική", που υποδεικνύει ότι το σύστημα υποστηρίζει αποτελεσματικά τους χρήστες στη δόμηση και την εξαγωγή σημασιολογικά συνεκτικών υπογράφων. Προκειμένου να διερευνήσουμε περαιτέρω τον τρόπο με τον οποίο η προτεινόμενη μεθοδολογία διαμορφώνει την εμπειρία του χρήστη κατά την εξαγωγή υπογράφων, χρησιμοποιήσαμε την τεχνική της Θεματικής Ανάλυσης. Η ανάλυση αυτή καταδεικνύει ότι η μέθοδος της ``Σημασιολογικής Επιλεκτικής Προσοχής'' ευθυγραμμίζεται με τις φυσικές γνωστικές διαδικασίες των χρηστών και αναδεικνύει το MindCraft ως ένα σύστημα εξαγωγής υπογράφων που εισάγει νέες μορφές αλληλεπίδρασης που ενδυναμώνουν τους χρήστες, ενώ παράλληλα αναδεικνύουν τους περιορισμούς στη χρήση Τεχνητής Νοημοσύνης όσον αφορά στην εμπιστοσύνη και τη διαφάνεια. Συνδυαστικά, το MindCraft και το Sextant εδραιώνουν ένα ενιαίο πλαίσιο δύο σταδίων για την ανάλυση Διασυνδεδεμένων Δεδομένων. Στο πρώτο στάδιο, το MindCraft επιτρέπει στους χρήστες να πλοηγούνται σε μεγάλους Γράφους Γνώσης, να εφαρμόζουν ``Σημασιολογική Επιλεκτική Προσοχή'', να ενσωματώνουν προηγούμενη γνώση και να εξαγάγουν σημασιολογικά συνοχικούς και διασυνδεδεμένους υπογράφους. Στο δεύτερο στάδιο, το Sextant λαμβάνει αυτά τα εξαγόμενα σύνολα δεδομένων και τα μεταφράζει σε διαδραστικές, πολυεπίπεδες χαρτογραφικές οπτικοποιήσεις. Η ανάπτυξη και η αξιολόγηση των δύο συστημάτων αποδεικνύουν ότι ο Σημασιολογικός Ιστός μπορεί να γίνει πολύ πιο προσιτός χωρίς καμία έκπτωση στην ισχύ και την εκφραστικότητα των εργαλείων του. Αυτό επιτυγχάνεται μέσω κατάλληλα σχεδιασμένων διεπαφών που απλοποιούν την πρόσβαση, αποκρύπτοντας αποτελεσματικά τις σύνθετες τεχνικές προκλήσεις, και δίνουν τη δυνατότητα τόσο σε αρχάριους όσο και σε έμπειρους χρήστες στις τεχνολογίες αυτές, να χρησιμοποιούν τα διασυνδεδεμένα δεδομένα για ανάλυση και εξαγωγή συμπερασμάτων.