Οργάνωση και διαχείριση χωροχρονικών χαρτογραφικών δεδομένων σε περιβάλλον Συστημάτων Γεωγραφικών Πληροφοριών

Abstract

This PhD thesis is part of the broader field of research on the investigation of the use of IT technologies for the implementation of complex spatio-temporal data management systems in the field of Archaeology. The aim of the PhD thesis is to propose and implement a spatio-temporal data management system in a Geographic Information Systems environment, using data warehouses infrastructure. As a pilot application, a geospatial infrastructure was designed and implemented for the monitoring and recording of the research archaeological results of the European research project PLANTCULT and further analysis of these data with data mining tools. PLANTCULT is a research project that aims to explore the prehistoric cuisines of Europe, in particular their plant components and their transformation into meals. The aim of the project is to identify culinary cultures and their changes through time in a large part of Europe, from the Aegean to Central Europe. Research at various archaeological sites and literature, combined with the chronological periods to which all observations and finds are attributed, create the initial data sources used in the thesis. Databases of plant food remains, associated processing equipment (ceramics, grinding tools, cooking utensils, etc.) are several data sources whose structure was designed and implemented. Different researchers from different countries use different terminology for chronological periods, therefore all chronological information was organized with an absolute chronological range (from-to) and a large index of chronological period terminology to accommodate all groups of researchers. The implementation of the thesis includes the organization and standardization of the researchers' needs, the design and implementation of a spatio-temporal data management system and the creation of spatio-temporal correlation models for the collected information. The analysis and development of the proposed solution in the form of a data warehouse is based on High Performance Database Management Systems, which allows client/server architecture to integrate different types of data in a single infrastructure. The collected dataset includes the spatiotemporal dimensions and the integration into a data warehouse structure logic allows its extraction into structures that allow the analysis of spatio-temporal data. The data used, from the four dimensions that location and time provides, are transformed into multidimensional data formats, considering the additional descriptive features collected for each of the individual data sources. Tools to extract, transform and load (ETL) were designed and developed to convert the individual structures into a unified data warehouse. The methodology applied for the conversion-adaptation of the data from a structured data format to a data warehouse and from there to Online Analytical Processing (OLAP) support structures and the use of Data cubes is based on table structure replication techniques and query predicate restrictions, which allows for continuous data loading into the data warehouse with minimal impact on the execution time of the final queries. The final data format by homogenizing and organizing the data into structures supporting OLAP functions aims at correlation detection results in a multiparametric environment.

Η παρούσα διδακτορική διατριβή εντάσσεται στο ευρύτερο πεδίο έρευνας σχετικά με την διερεύνηση της χρήσης υποδομών πληροφορικής για την υλοποίηση σύνθετων συστημάτων διαχείρισης χωροχρονικών δεδομένων. Στόχος της διδακτορικής διατριβής είναι η πρόταση και υλοποίηση ενός συστήματος διαχείρισης χωροχρονικών δεδομένων σε περιβάλλον Γεωγραφικών Συστημάτων Πληροφοριών, χρησιμοποιώντας υποδομές αποθηκών δεδομένων (data warehouses). Ως πιλοτική εφαρμογή σχεδιάστηκε και υλοποιήθηκε γεωχωρική υποδομή για την παρακολούθηση και καταγραφή των ερευνητικών αρχαιολογικών αποτελεσμάτων του ευρωπαϊκού ερευνητικού προγράμματος PLANTCULT και την περαιτέρω ανάλυση των στοιχείων αυτών με εργαλεία εξόρυξης δεδομένων. Το ερευνητικό πρόγραμμα αυτό έχει σκοπό να εξερευνήσει τις προϊστορικές κουζίνες της Ευρώπης, και συγκεκριμένα τα φυτικά συστατικά τους και το μετασχηματισμό τους σε γεύματα. Στόχος του προγράμματος είναι ο εντοπισμός των γαστρονομικών πολιτισμών και των αλλαγών τους μέσα στο χρόνο σε ένα μεγάλο μέρος της Ευρώπης, από το Αιγαίο μέχρι την Κεντρική Ευρώπη. Η έρευνα σε διάφορους αρχαιολογικούς χώρους και βιβλιογραφία σε συνδυασμό με τις χρονολογικές περιόδους, στις οποίες όλες οι παρατηρήσεις και τα ευρήματα αποδίδονται, δημιουργούν τις αρχικές πηγές δεδομένων που χρησιμοποιήθηκαν στην διατριβή. Βάσεις δεδομένων για κατάλοιπα φυτικών τροφίμων, συναφής εξοπλισμός επεξεργασίας (κεραμικά, εργαλεία άλεσης, μαγειρικές κατασκευές κ.λπ.) είναι μια σειρά από πηγές δεδομένων των οποίων η δομή σχεδιάστηκε και υλοποιήθηκε. Διαφορετικοί ερευνητές από διαφορετικές χώρες χρησιμοποιούν διαφορετική ορολογία για τις χρονολογικές περιόδους, για τον λόγο αυτό όλες οι χρονολογικές πληροφορίες οργανώθηκαν με απόλυτο προσδιορισμό χρονολογικού εύρους (από-έως) και ένα μεγάλο ευρετήριο ορολογίας χρονολογικών περιόδων ώστε να εξυπηρετούνται όλες οι ομάδες των ερευνητών. Η υλοποίηση της διατριβής, περιλαμβάνει την οργάνωση και προτυποποίηση των αναγκών των ερευνητών, τον σχεδιασμό και την υλοποίηση ενός συστήματος διαχείρισης χωροχρονικών δεδομένων και την δημιουργία μοντέλων χωροχρονικής συσχέτισης των συλλεγόμενων πληροφοριών. Η ανάλυση και ανάπτυξη της προταθείσας λύσης με τη μορφή αποθήκης δεδομένων βασίζεται σε Συστήματα Διαχείρισης Βάσεων Δεδομένων υψηλής απόδοσης, που επιτρέπει αρχιτεκτονική πελάτη/διακομιστή με σκοπό την ενσωμάτωση διαφορετικών τύπων δεδομένων σε μια ενιαία υποδομή. Το σύνολο των δεδομένων που συλλέγονται έχουν γεωγραφική και χρονική αναφορά και η ενσωμάτωση τους σε μια λογική δομής αποθήκης δεδομένων επιτρέπει την εξαγωγή τους σε δομές που επιτρέπουν την ανάλυση των χωροχρονικών δεδομένων και την εξόρυξη πιθανών συμπεριφορών ή και προτύπων. Τα δεδομένα που χρησιμοποιούνται, από τις τέσσερεις διαστάσεις που η θέση και ο χρόνος προσδίδουν, μετατρέπονται σε πολυδιάστατες μορφές δεδομένων, λαμβάνοντας υπόψιν τα επιπλέον περιγραφικά χαρακτηριστικά που συλλέγονται για κάθε μια από τις επιμέρους πηγές δεδομένων. Για την μετατροπή των επιμέρους δομών σε ενιαία δομή αποθήκης δεδομένων αναπτύχθηκαν εργαλεία εξαγωγής-μετατροπής-μεταφόρτωσης (ETL). H μεθοδολογία που εφαρμόστηκε για την μετατροπή-προσαρμογή των δεδομένων από μια μορφή δομημένων δεδομένων (structured data) σε αποθήκη δεδομένων και από αυτή σε δομές υποστήριξης λειτουργιών (Online analytical Processing - OLAP) και την χρήση Κύβων Δεδομένων (Data cubes), βασίζεται σε τεχνικές αναπαραγωγής δομών δεδομένων (table structure replication) και περιορισμών ερωτημάτων για την επιλογή δεδομένων (query predicate restrictions), που επιτρέπει τη συνεχή φόρτωση δεδομένων στην αποθήκη δεδομένων με ελάχιστη επιβάρυνση στο χρόνο εκτέλεσης των τελικών ερωτημάτων. H τελική μορφή των δεδομένων με την ομογενοποίηση και οργάνωση τους σε δομές υποστήριξης OLAP λειτουργιών στοχεύει σε αποτελέσματα εντοπισμού συσχετίσεων σε ένα πολυπαραμετρικό περιβάλλον.