COSMOS-7: an MPEG-7 content modelling and querying framework

Abstract

Following an extensive review and analysis of the content semantics, modelling and retrieval schemes reported in literature, this thesis presents COSMOS-7, a content semantics modelling and retrieval scheme, which enables modelling of known content semantics both in COSMOS and MPEG-7 formats, and also querying and retrieval of content semantics in either format. The former uses the m- frame for modelling content semantics whereas the latter uses MPEG-7 description scheme for encoding content semantics in XML. COSMOS-7 facilitates the modelling of objects with their on-screen co-ordinates, their attributes and properties, their spatio-temporal relationships to other objects, events within a video stream that objects participate in and temporal relationships between known events. The thesis proposes three different querying methods for semantic level retrieval of content from the two formats, namely natural language queries on the COSMOS model, xqueries on the MPEG-7 XML model and structured queries on both models. The thesis then presents the prototyping of COSMOS-7 in Lisp, as a proof of concept, including a front-end application programming interface for modelling content semantics in m-frames, mapping these into MPEG-7 XML and querying either or both the COSMOS and MPEG-7 models. The thesis undertakes a formal validation of the content creation processes for both the COSMOS and MPEG-7 XML models and the content retrieval processes for both models. The core Lisp routines are formally validated by constructing a formal proof using the “Communicating Sequential Processes” formal method. The thesis also undertakes a user evaluation of COSMOS-7 with a group of end users charged with the task of assessing the front-end application programming interface to the content modelling and querying processes.

Ακολουθώντας μια εκτενή ανασκόπηση και ανάλυση των σημασιολογιών περιεχομένου, των μοντέλων και των συστημάτων ανάκτησης που αναφέρονται στη βιβλιογραφία, αυτή η διατριβή παρουσιάζει το COSMOS-7, ένα σύστημα μοντελοποίησης και ανάκτησης σημασιολογίας περιεχομένου, το οποίο επιτρέπει τη μοντελοποίηση γνωστών σημασιολογιών περιεχομένου τόσο σε μορφή COSMOS όσο και σε μορφή MPEG-7, και επίσης την αναζήτηση και ανάκτηση της σημασιολογίας περιεχομένου σε οποιαδήποτε από τις δύο μορφές. Η πρώτη χρησιμοποιεί το m-frame για τη μοντελοποίηση της σημασιολογίας περιεχομένου, ενώ η δεύτερη χρησιμοποιεί το σύστημα περιγραφής MPEG-7 για την κωδικοποίηση της σημασιολογίας περιεχομένου σε XML. Το COSMOS-7 διευκολύνει τη μοντελοποίηση αντικειμένων με τις συντεταγμένες τους στην οθόνη, τα χαρακτηριστικά και τις ιδιότητές τους, τις χωροχρονικές σχέσεις τους με άλλα αντικείμενα, τα γεγονότα μέσα σε μια ροή βίντεο στα οποία συμμετέχουν τα αντικείμενα και τις χρονικές σχέσεις μεταξύ γνωστών γεγονότων. Η διατριβή προτείνει τρεις διαφορετικές μεθόδους αναζήτησης για την ανάκτηση περιεχομένου σε σημασιολογικό επίπεδο από τις δύο μορφές, δηλαδή ερωτήματα φυσικής γλώσσας στο μοντέλο COSMOS, xqueries στο μοντέλο XML MPEG-7 και δομημένα ερωτήματα και στις δύο μορφές. Στη συνέχεια, η διατριβή παρουσιάζει την ανάπτυξη του COSMOS-7 σε Lisp, ως απόδειξη της έννοιας, περιλαμβάνοντας ένα γραφικό περιβάλλον διεπαφής προγραμματισμού για τη μοντελοποίηση της σημασιολογίας περιεχομένου σε m-frames, τη χαρτογράφηση αυτών σε MPEG-7 XML και την αναζήτηση είτε στο μοντέλο COSMOS είτε στο MPEG-7. Η διατριβή αναλαμβάνει έναν επίσημο έλεγχο επικύρωσης των διαδικασιών δημιουργίας περιεχομένου τόσο για τα μοντέλα COSMOS όσο και για τα MPEG-7 XML και τις διαδικασίες ανάκτησης περιεχομένου και των δύο μοντέλων. Οι κύριες ρουτίνες Lisp επικυρώνονται επίσημα με την κατασκευή μιας επίσημης απόδειξης χρησιμοποιώντας τη μέθοδο "Communicating Sequential Processes". Η διατριβή αναλαμβάνει επίσης μια αξιολόγηση από χρήστες του COSMOS-7 με μια ομάδα τελικών χρηστών που αναλαμβάνουν την αποστολή της αξιολόγησης της διεπαφής προγραμματισμού εφαρμογών στο πλαίσιο της μοντελοποίησης περιεχομένου και των διαδικασιών αναζήτησης.