Logic and neurosymbolic approaches for temporal phenomena recognition and multi-modal classification

Abstract

This thesis deals with two main topics. These are, first, the use of temporal logics for temporal phenomena recognition, and second, a neurosymbolic approach for multi-modal classification. Both of these topics are motivated by real existing problems of the maritime domain. Concerning the first topic, we formally introduce a new temporal logic that was created with the aims of being very expressive without sacrificing processing efficiency and also be intuitive enough so that non-experts can use it. Our temporal logic is capable of representing instantaneous and durative temporal phenomena. We illustrate its expressive power both through examples, but also study it theoretically in comparison with other well known temporal logics. As our goal is the use of this logic for temporal phenomena recognition, we define criteria for proper stream processors, introduce our open-source implementations and evaluate them on the task of maritime activity recognition on real maritime data. Finally, we present and evaluate a methodology for extracting phenomena definitions, expressed in our logic. Concerning the second topic, that is the neurosymbolic approach for multi-modal classification, we present a methodology for learning rules, fuzzify them and integrate them into a neural network architecture. Our methodology deals with two kinds of inputs, images and related tabular data. We evaluate our approach on the task of ship type classification using real-world maritime data and vessel images. Finally, we present two maritime applications that employ the two main contributions of this thesis, i.e., our logic-based methodology for phenomena recognition, and our neurosymbolic approach for multi-modal classification. More specifically we employ them for the tasks of near-port maritime surveillance, and joint ship type classification with maritime activity recognition.

Η παρούσα διατριβή ασχολείται με δύο κύρια θέματα. Το πρώτο αφορά τη χρήση χρονικών λογικών για την αναγνώριση χρονικών φαινομένων (γεγονότων), και το δεύτερο μια νευροσυμβολική προσέγγιση για πολυτροπική ταξινόμηση. Και τα δύο αυτά θέματα έχουν ως κίνητρο υπαρκτά προβλήματα του ναυτιλιακού τομέα.Όσον αφορά το πρώτο θέμα, εισάγουμε τυπικά μια νέα χρονική λογική που δημιουργήθηκε με στόχο να είναι ιδιαίτερα εκφραστική χωρίς να θυσιάζει την απόδοση επεξεργασίας, αλλά και αρκετά διαισθητική ώστε να μπορεί να χρησιμοποιηθεί και από μη ειδικούς. Η χρονική μας λογική είναι ικανή να αναπαριστά στιγμιαία και διαρκή χρονικά φαινόμενα. Αποδεικνύουμε τη δύναμη έκφρασής της τόσο μέσω παραδειγμάτων όσο και μέσω θεωρητικής μελέτης σε σύγκριση με άλλες γνωστές χρονικές λογικές. Καθώς στόχος μας είναι η χρήση αυτής της λογικής για την αναγνώριση χρονικών φαινομένων, ορίζουμε κριτήρια για κατάλληλους επεξεργαστές ροών, παρουσιάζουμε τις ανοικτού κώδικα υλοποιήσεις μας και τις αξιολογούμε στο πρόβλημα της αναγνώρισης ναυτιλιακών δραστηριοτήτων πάνω σε πραγματικά ναυτιλιακά δεδομένα. Τέλος, παρουσιάζουμε και αξιολογούμε μια μεθοδολογία για την εξαγωγή ορισμών φαινομένων, εκφρασμένων στη λογική μας.Όσον αφορά το δεύτερο θέμα, δηλαδή τη νευροσυμβολική προσέγγιση για πολυτροπική ταξινόμηση, παρουσιάζουμε μια μεθοδολογία για την εκμάθηση κανόνων, τη φασματοποίησή τους (fuzzification) και την ενσωμάτωσή τους σε μια αρχιτεκτονική νευρωνικού δικτύου. Η μεθοδολογία μας χειρίζεται δύο είδη εισόδων, εικόνες και συναφή αριθμητικά δεδομένα. Αξιολογούμε την προσέγγισή μας στο έργο της ταξινόμησης τύπου πλοίου χρησιμοποιώντας πραγματικά ναυτιλιακά δεδομένα και εικόνες σκαφών. Τέλος, παρουσιάζουμε δύο ναυτιλιακές εφαρμογές που αξιοποιούν τις δύο κύριες συνεισφορές της διατριβής αυτής, δηλαδή τη μεθοδολογία μας που βασίζεται στη λογική για την αναγνώριση φαινομένων, και τη νευροσυμβολική μας προσέγγιση για πολυτροπική ταξινόμηση. Πιο συγκεκριμένα, τις εφαρμόζουμε στα προβλήματα της θαλάσσιας επιτήρησης κοντά σε λιμένες και της συνδυαστικής ταξινόμησης τύπου πλοίου με αναγνώριση ναυτιλιακών δραστηριοτήτων.