Αναπαράσταση σχήματος, ταξινόμηση και ανάκτηση εικόνων

Abstract

The Dissertation is focused on issues of representation, coding,classification and retrieval of visual information either in the form of shape orin the form of pictures in an approach that is compatible with biological butalso functional data concerning human perception.In the case of shape representation and coding notions of biological butalso intuitive compatibility are introduced. The new concept of “curvatureskeleton” is presented as a new shape representation technique that iscompatible with the Human Visual System. The “Curvature Skeleton” is aglobal shape descriptor that also contains curvature measurements of theshape’s contour, embedded in the gray scale intensities of the skeleton image.The method is inspired and thus compatible with the Human Visual System andat the same time improves the recognition capability of Neural Networkclassifiers in experiments of shape classification under conditions of occlusionand deformation. Furthermore, a new transformation, the “Global-LocalTransformation” is also presented. It is shown that this transformation providesa framework for defining various descriptors of shape that offer newpossibilities in invariant shape recognition and is also compatible with thehuman intuition of shape. A mathematical analysis based on differentialgeometry of planar curves, leads to the “Global-Local Equations”, a closedform relation between global, local and hybrid shape visual features. Theresulting representation is shown to be particularly effective in the presence ofnoise. In various experiments, an improvement in the complexity but also inthe precision\recall score of widely used and state of the art methods isachieved.In the case of indexing and retrieval of pictures, novel knowledgerepresentation techniques are introduced in an approach to link to task of imageunderstanding to that of representing and exploiting knowledge about thisimage. A new method for knowledge representation with regard to indexingand retrieval of images in information access systems, like Google ImageSearch, is presented. The “Markovian Semantic Indexing”, provides a newway of assigning semantic interconnections between keywords that are linkedto the images by means of an interactive procedure between the system and theusers that retrieve these images. A distance between the keywords isconstructed based on a Markovian model of general user behavior. The samemodel is used to produce a vector representation of the chosen by the usersimages and annotate them in an automatic manner. The annotations, attributedto the pictures automatically by the system are then used in a Markoviancontext to index the pictures. Related work is examined and with experimentsis shown that the proposed method performs better when compared to LatentSemantic Indexing in the case of Annotation Based Image Retrieval.

Η Διατριβή επικεντρώνεται σε θέματα αναπαράστασης, κωδικοποίησης,ταξινόμησης και ανάκτησης της οπτικής πληροφορίας είτε αυτή είναι σε μορφήσχήματος είτε σε μορφή εικόνας με μία προσέγγιση που είναι συμβατή μεβιολογικά αλλά και λειτουργικά δεδομένα σε σχέση με την ανθρώπινηαντίληψη.Στην περίπτωση της αναπαράστασης και κωδικοποίησης σχημάτωνπαρουσιάζεται μία μέθοδος ανίχνευσης και μέτρησης καμπυλότητας καιεξαγωγής ενός “σκελετού καμπυλότητας” που είναι συμβατή με την λειτουργίατου ΑΟΣ. Ειδικότερα αναλύεται ο τρόπος κωδικοποίησης του σκελετού ενόςκλειστού σχήματος που εμπεριέχει και πληροφορίες καμπυλότηταςπεριγράμματος στις τιμές έντασης φωτεινότητας εικόνων. Η μέθοδος είναισυμβατή με το ΑΟΣ και την ίδια στιγμή παρουσιάζονται πειράματα πουδείχνουν ότι η μέθοδος βελτιώνει τις δυνατότητες κλασικών ταξινομητώννευρωνικών δικτύων. Παρουσιάζεται επίσης ένας νέος μετασχηματισμός , ο“Ολοτοπικός”, που εφαρμόζεται στο περίγραμμα ενός σχήματος.Αποδεικνύεται ότι ο μετασχηματισμός αυτός παρέχει το πλαίσιο για ορισμόπεριγραφέων σχήματος που προσφέρουν μεγάλες δυνατότητες στηναναγνώριση σχήματος και είναι συμβατοί με την ανθρώπινη αντίληψη. Μίαθεωρητική ανάλυση που βασίζεται σε τεχνικές διαφορικής γεωμετρίαςεπίπεδων καμπύλων οδηγεί σε μία εξίσωση κλειστής μορφής που αποδεικνύειμία σχέση ολικών και τοπικών περιγραφών σχήματος. Η σχετικήαναπαράσταση αποδεικνύεται ιδιαίτερα αποτελεσματική στην περίπτωσηπαρουσίας θορύβου. Μέσω πειραμάτων επιτυγχάνεται βελτίωση στηνπολυπλοκότητα αλλά και στην ακρίβεια ευρέως διαδεδομένων μεθόδωναναγνώρισης σχήματος που βρίσκονται στην τρέχουσα στάθμης της τεχνικής.Στην περίπτωση των εικόνων εισάγονται έννοιες γνωσιακήςσυμβατότητας που χρησιμοποιούνται για τον σκοπό της καλύτερηςταξινόμησης και ανάκτησης εικόνων. Ειδικότερα παρουσιάζεται μια νέαμέθοδος σχετική με την πρόσβαση χρηστών πληροφοριακών συστημάτων στηνοπτική πληροφορία. Η “Μαρκοβιανή Σημασιολογική Ταξινόμηση”, παρέχειέναν νέο τρόπο απόδοσης σημασιολογικών διασυνδέσεων στις λέξεις κλειδιάπου αποδίδουν στις εικόνες οι χρήστες ενός πληροφοριακού συστήματος.Κατασκευάζεται μια απόσταση ανάμεσα στις λέξεις κλειδιά που βασίζεται σεένα στοχαστικό μοντέλο συμπεριφοράς των χρηστών του πληροφοριακούσυστήματος. Με αυτόν τον τρόπο κατασκευάζεται μια σημασιολογικήσυσχέτιση στο χώρο των λέξεων κλειδιών. Η ίδια τεχνική χρησιμοποιείταιστην συνέχεια για να ορισθεί μια ομαδοποίηση Μαρκοβιανού χαρακτήρα στονχώρο των λέξεων κλειδιών. Μέσω της ομαδοποίησης αυτής ορίζεται μίααπόσταση ανάμεσα στις εικόνες αυτήν την φορά. Οι κειμενικές περιγραφές πουαποδόθηκαν στις εικόνες αυτόματα από το σύστημα, μέσω τηςαλληλεπίδρασής του με τους χρήστες που διάλεξαν αυτές τις εικόνες,χρησιμοποιούνται στην συνέχεια σε ένα Μαρκοβιανό μοντέλο ανάκτησης.Εξετάζονται σχετικές εργασίες και με πειράματα δείχνουμε ότι η προτεινόμενημέθοδος MSI έχει μεγαλύτερες δυνατότητες από τις αντίστοιχες μεθόδους LSIστην ανάκτηση εικόνων από κειμενικές περιγραφές.