Information processing utilizing low-rank and sparse representations

Abstract

This doctoral dissertation introduces a series of algorithms and problem-solving frameworks in the fields of machine learning and optimization theory, with applications in forensics, computer vision, signal processing, and natural language processing. The research explores both unimodal and multimodal techniques for feature computation and pattern classification. Initially, the problem of computing principal components subject to non-negativity constraints on the elements of the eigenvectors was studied. To solve this problem, Lagrange multiplier theory was employed. Subsequently, using Lagrange multipliers, an algorithm was designed to solve a wide range of optimization problems in the positive orthant with equality constraints. Next, considering the multimodal nature of data, cross-lingual document classification and mobile device classification were examined. For cross-lingual document classification, a method for processing multidimensional data was extended to compute text representations in a latent space constrained in the positive orthant, connecting multilingual information. Moreover, for the multimodal classification of mobile devices, a cost function was proposed that combines neural networks trained on both image and audio data. With the rapid spread of multimedia in the digital age, concerns about theirprovenance have intensified. To address risks related to the origin of multimedia content, an algorithm was proposed for estimating the electric network frequency. Electric network frequency estimation has applications in identifying the location and time at which a multimedia recording, such as an audio message from a mobile phone, was captured. Solving the aforementioned problems requires the application of optimization algorithms that aim to determine the optimal parameters yielding a local minimum of each problem’s cost function. In most deep learning problems, the cost function is non-convex, which can lead not only to local minima but also to saddle points, where the gradient vanishes without necessarily yielding an optimal solution. To avoid saddle points, an algorithm was proposed that extends a second-order optimization method by making it non-parametric, thereby enhancing its capability to solve problems with minimal parameter tuning.

Η παρούσα διδακτορική διατριβή εισάγει μια σειρά αλγορίθμων και πλαισίων επίλυσης προβλημάτων στον τομέα της μηχανικής μάθησης και θεωρίας βελτιστοποίησης με εφαρμογές στην εγκληματολογία, την υπολογιστική όραση, την επεξεργασία σήματος και την φυσική επεξεργασία κειμένου. Η έρευνα εμβαθύνει τόσο σε μονοτροπικέςόσο και σε πολυτροπικές τεχνικές για τον υπολογισμό χαρακτηριστικών αλλά και την πρόβλεψη της κλάσης προτύπων. Αρχικά, μελετήθηκε το πρόβλημα υπολογισμού πρωτευουσών συνιστωσών με περιορισμούς θετικότητας στα στοιχεία των ιδιοδιανυσμάτων. Για τη επίλυση του προβλήματος έγινε χρήση της θεωρίας πολλαπλασιαστών Lagrange. Μελετήθηκε ο σχεδιασμός και η κατασκευή ενός αλγορίθμου για την επίλυση μιας ευρείας γκάμας προβλημάτων βελτιστοποίησης στο θετικό τεταρτημόριο με περιορισμούς ισότητας. Λαμβάνοντας υπόψιν την πολυτροπικότα των δεδομένων μελετήθηκε η ετερογλωσσική κατηγοριοποίηση κειμένων και η κατηγοριοποίηση κινητών συσκευών. Για την ετερογλωσσική κατηγοριοποίηση κειμένων πραγματοποιήθηκε επέκταση μεθόδου επεξεργασίας τανυστών για τον υπολογισμό της αναπαράστασης των κειμένων σε ένα λανθάνοντα χώρο ο οποίος εδρεύει στο θετικό τεταρτημόριο και συνδέει την ετερογλωσσική πληροφορία. Επιπλέον, για την πολυτροπική κατηγοριοποίηση των κινητών συσκευών, προτάθηκε συνάρτηση κόστους που συνδυάζει νευρωνικά δίκτυα τα οποία έχουν εκπαιδευτεί με δεδομένα εικόνας και ήχου. Με τη ραγδαία διάδοση των πολυμέσων στην ψηφιακή εποχή εντείνονται οι ανησυχίες σχετικά με την προέλευσή τους. Για την αντιμετώπιση των κινδύνων που σχετίζονται με την προέλευση των πολυμέσων προτάθηκε αλγόριθμος για την εκτίμηση της ηλεκτρικής συχνότητας του δικτύου. Η εκτίμηση της ηλεκτρικής συχνότητας του δικτύου έχει εφαρμογές στην αναγνώριση της τοποθεσίας και της χρονικής στιγμής που έγινε μια καταγραφή ενός πολυμέσου όπως ενός ηχητικού μηνύματος από ένα κινητό τηλέφωνο. Η επίλυση των παραπάνω προβλημάτων προϋποθέτει την εφαρμογή αλγορίθμων βελτιστοποίησης, οι οποίοι αποσκοπούν στον προσδιορισμό των βέλτιστων παραμέτρων που καθορίζουν ένα τοπικό ελάχιστο στη συνάρτηση κόστους κάθε προβλήματος. Στα περισσότερα προβλήματα μηχανικής μάθησης, η συνάρτηση κόστους είναι μη κυρτή, γεγονός που μπορεί να οδηγήσει όχι μόνο σε τοπικά ελάχιστα, αλλά και σε σαγμοειδή σημεία (saddle points), όπου η κλίση μηδενίζεται χωρίς να επιτυγχάνεται απαραίτητα βέλτιστη λύση. Για την αποφυγή σαγμοειδών σημείων, προτάθηκε ένας αλγόριθμος που επεκτείνει μια μέθοδο βελτιστοποίησης δεύτερης τάξης, καθιστώντας την μη παραμετρική και βελτιώνοντας έτσι την ικανότητά της να επιλύει προβλήματα με την ελάχιστη δυνατή παραμετροποίηση.