Αναζήτηση λέξεων σε εικόνες ιστορικών εγγράφων

Abstract

In this PhD thesis innovative methods of wordspotting on historical printed documents are presented. In particular, two methods based on document segmentation on word level have been developed. The first method uses a hybrid feature scheme for word matching based on zones and projections. It also uses a process of creating query keyword images for any word using synthetic data. The synthetic words are created using images of individual characters taken from the processed documents. The method also presents a process allowing user feedback in order to improve the final results. The second method uses the Dynamic Time Warping (DTW) algorithm for comparing word images. It assist the transition between the synthetic data and real data comparison. Synthetic data and real data differ and DTW allows a better alignment between the features of the two images. Again, feedback can be applied to improve the results. Furthermore, a method that uses no segmentation on the document images has been also developed. The method overcomes the problem of incorrect segmentation that affect the final results since it detects query keyword images directly on entire document page images. It also allows for partial matching such as detecting word that are included in larger ones. The evaluation of the aforementioned methods showed satisfactory results presenting better performance against competitive methods of wordspotting.

Στην παρούσα διδακτορική διατριβή αναπτύχθηκαν πρωτοποριακές μέθοδοι για τον εντοπισμό λέξεων σε ιστορικά τυπωμένα έγγραφα. Συγκεκριμένα, αναπτύχθηκαν δύο μέθοδοι οι οποίες κάνουν χρήση κατάτμησης των εγγράφων σε επίπεδο λέξεων. Η πρώτη μέθοδος χρησιμοποιεί ένα υβριδικό μοντέλο χαρακτηριστικών για τη σύγκριση μεταξύ των εικόνων των λέξεων. Οι λέξεις-κλειδιά είναι συνθετικά δεδομένα τα οποία δημιουργούνται απο εικόνες μεμονωμένων χαρακτήρων που έχουν επιλεχθεί από τα έγγραφα. Επίσης, η μέθοδος χρησιμοποιεί μια διαδικασία ανατροφοδότησης αποτελεσμάτων από το χρήστη με σκοπό να βελτιώσει τα τελικά αποτελέσματα. Η δεύτερη μέθοδος που βασίζεται σε κατάτμηση εγγράφων σε επίπεδο λέξεων έρχεται να αντιμετωπίσει το πρόβλημα της σύγκρισης συνθετικών δεδομένων με πραγματικά δεδομένα από τα έγγραφα. Λόγω του ότι οι συνθετικές λέξεις παρουσιάζουν διαφοροποίηση σε σχέση με τις κατετμημένες από τα έγγραφα λέξεις, αναπτύχθηκε μία μέθοδος που χρησιμοποιεί τον αλγόριθμο Δυναμικής Στρέβλωσης Χρόνου (Dynamic Time Warping - DTW) ώστε να απορροφήσει τις τοπικές ανωμαλίες και διαφοροποιήσεις μεταξύ των λέξεων. Τέλος, αναπτύχθηκε μία μέθοδος η οποία δε χρησιμοποιεί κανένα είδος κατάτμησης των εγγράφων. Οι λέξεις εντοπίζονται απευθείας επάνω σε ολόκληρες τις εικόνες των εγγράφων. Η μέθοδος αυτή έρχεται να ξεπεράσει το πρόβλημα που δημιουργείται σε περιπτώσεις λανθασμένης κατάτμησης όπου επηρεάζει σημαντικά το τελικό αποτέλεσμα. Επίσης, δίνει τη δυνατότητα μερικού εντοπισμού λέξεων όπως για παράδειγμα λέξεις οι οποίες περιλαμβάνονται άλλες όπως συμβαίνει στις σύνθετες λέξεις. Τα αποτελέσματα των μεθόδων είναι ικανοποιητικά και ξεπερνούν ανταγωνιστικές μεθόδους αναζήτησης λέξεων.