Tensor learning for high-dimensional signal acquisition and analysis

Abstract

Many signal processing applications rely on multidimensional signals, which require demanding acquisition and analysis procedures. Tensors, which are multidimensional arrays indexed by multiple variables, are a natural way to represent these signals. Despite the complexities involved in handling and manipulating tensors, tools for tensor analysis can effectively overcome the limitations of traditional processing models. This thesis presents innovative tensor learning techniques that tackle the challenges associated with high-dimensional signal acquisition and analysis. During the data acquisition process, a common issue is the corruption or loss of a significant number of measurements due to communication failures. Additionally, the available measurements are often quantized to a specific number of bits for transmission purposes. To enable further analysis, a quantization model for high-dimensional data is proposed, along with formal methods for recovering a tensor from partially quantized and potentially corrupted measurements. The study also investigates the relationship between quantization and sampling, as well as the identification of possible anomalies or outliers in higher-order signals. Experiments conducted on satellite-derived observations indicate that it is more effective to consider the discrete nature of the quantized measurements rather than treating them as real values. The compression process is another critical step in signal acquisition that aims to reduce the required number of bits for representation without significant loss. To this end, we introduce end-to-end compression algorithms for high-dimensional data that include quantization and coding to bitstreams, allowing them to be directly applied in real-world scenarios. In these schemes, we populate the relevant representation subspaces and utilize tensor decomposition techniques within a machine-learning framework to exploit the data characteristics of available training samples. Subsequently, each new sample can be mapped to the learned decompositions, necessitating only the transmission of associated coefficients. Consequently, high compression ratios can be achieved, and the correlations among all variables are simultaneously removed. While these algorithms are evaluated on third- and fourth-order remote sensing multispectral image sequences, they can handle arbitrary-high-dimensional data, providing a mathematically concrete solution for encoding multiple sources of observations simultaneously. Multidimensional measurements have also significant implications for their analysis, including classification. Therefore, this dissertation proposes a general machine-learning approach for supervised classification based on tensor decomposition. The problem is formulated as a tensor completion task, where the tensor of scores for various classes and all possible samples, is completed. By integrating classification loss functions with tensor decomposition techniques, the proposed method is effectively utilized in several real-world classification tasks. In conclusion, the proposed schemes effectively tackle numerous challenges associated with high-dimensional signal acquisition and processing. However, the main contribution of this thesis lies in the integration of tensor models with machine learning techniques. By leveraging the advantages of both tensor decomposition and machine learning, we can concurrently exploit their benefits and provide a novel framework for multidimensional signal processing that overcomes the constraints of conventional models.

Πολλές εφαρμογές επεξεργασίας σημάτων βασίζονται σε πολυδιάστατα σήματα, τα οποία απαιτούν απαιτητικές διαδικασίες ανάκτησης και ανάλυσης. Οι τανυστές, οι οποίοι είναι πολυδιάστατοι πίνακες με δείκτες από πολλές μεταβλητές, είναι ένας φυσικός τρόπος για την αναπαράσταση αυτών των σημάτων. Παρά την πολυπλοκότητα που συνεπάγεται ο χειρισμός και η επεξεργασία τανυστών, τα εργαλεία ανάλυσης τανυστών μπορούν να ξεπεράσουν αποτελεσματικά τους περιορισμούς των παραδοσιακών μοντέλων επεξεργασίας. Αυτή η διατριβή παρουσιάζει καινοτόμες τεχνικές εκμάθησης τανυστών που αντιμετωπίζουν τις προκλήσεις που συνδέονται με την απόκτηση και ανάλυση σημάτων υψηλών διαστάσεων.Κατά τη διαδικασία ανάκτησης δεδομένων, μια συνηθισμένη πρόκληση είναι η καταστροφή ή η απώλεια ενός σημαντικού αριθμού μετρήσεων λόγω αποτυχιών επικοινωνίας. Επιπλέον, οι διαθέσιμες μετρήσεις συχνά περιορίζονται σε ένα συγκεκριμένο αριθμό δυαδικών ψηφίων για λόγους μετάδοσης. Για να επιτραπεί περαιτέρω ανάλυση, προτείνεται ένα μοντέλο κβάντισης για δεδομένα υψηλών διαστάσεων, μαζί με τη χρήση τυπικών μεθόδων ανάκτησης ενός τανυστή από εν μέρει κβαντισμένες και πιθανώς κατεστραμμένες μετρήσεις. Η μελέτη εξετάζει επίσης τη σχέση μεταξύ κβάντισης και δειγματοληψίας, καθώς και την ανίχνευση δυνητικών ανωμαλιών ή ακραίων τιμών σε σήματα υψηλής τάξης. Πειράματα που διεξάχθηκαν σε παρατηρήσεις που προέρχονται από δορυφόρους, υποδεικνύουν ότι είναι πιο αποτελεσματικό να ληφθεί υπόψη η διακριτή φύση των κβαντισμένων μετρήσεων παρά να αντιμετωπιστούν ως πραγματικές τιμές. Η διαδικασία συμπίεσης είναι ένα άλλο κρίσιμο βήμα στην ανάκτηση σημάτων που στοχεύει στη μείωση του απαιτούμενου αριθμού δυαδικών ψηφίων για την αναπαράστασή τους χωρίς σημαντική απώλεια πληροφορίας. Για τον σκοπό αυτό, παρουσιάζουμε αλγόριθμους συμπίεσης για υψηλής διάστασης δεδομένα που περιλαμβάνουν κβάντιση και κωδικοποίηση σε δυαδικές ακολουθίες, επιτρέποντας την εφαρμογή τους σε πραγματικά σενάρια. Σε αυτούς τους αλγόριθμους, υπολογίζουμε τους σχετικούς υποχώρους αναπαράστασης και χρησιμοποιούμε τεχνικές αποσύνθεσης τανυστών εντός ενός πλαισίου μηχανικής μάθησης για να εκμεταλλευτούμε τα χαρακτηριστικά των δεδομένων των διαθέσιμων δειγμάτων εκπαίδευσης. Έπειτα, κάθε νέο δείγμα μπορεί να αντιστοιχιστεί στις μαθημένες αποσυνθέσεις, απαιτώντας μόνο τη μετάδοση των σχετικών συντελεστών. Με αυτόν τον τρόπο, μπορούν να επιτευχθούν υψηλοί λόγοι συμπίεσης, με τις συσχετίσεις μεταξύ όλων των μεταβλητών να αφαιρούνται ταυτόχρονα. Αν και αυτοί οι αλγόριθμοι αξιολογούνται σε ακολουθίες πολυφασματικών εικόνων τηλεπισκόπησης τρίτης και τέταρτης τάξης, μπορούν να χειριστούν δεδομένα αυθαίρετα υψηλών διαστάσεων, παρέχοντας μια μαθηματική προσέγγιση για την ταυτόχρονη κωδικοποίηση πολλαπλών παρατηρήσεων. Οι πολυδιάστατες μετρήσεις έχουν επίσης σημαντικές επιπτώσεις στην ανάλυσή τους, συμπεριλαμβανομένης της ταξινόμησής τους. Για το λόγο αυτό, αυτή η διατριβή προτείνει μια γενική προσέγγιση μηχανικής μάθησης για το πρόβλημα της εποπτευόμενης ταξινόμησης που βασίζεται στην αποσύνθεση τανυστών. Συγκεκριμένα, διατυπώνουμε το πρόβλημα ως ένα πρόβλημα ολοκλήρωσης τανυστή συμπληρώνοντας έναν τανυστή βαθμολογιών των διαφορετικών κλάσεων και όλων των πιθανών δειγμάτων. Συνδυάζοντας συναρτήσεις απώλειας ταξινόμησης με τεχνικές αποσύνθεσης τανυστών, η προτεινόμενη μέθοδος εφαρμόζεται αποτελεσματικά σε αρκετές πραγματικές εφαρμογές ταξινόμησης.Συμπερασματικά, οι προτεινόμενες μέθοδοι αντιμετωπίζουν αποτελεσματικά πολλές προκλήσεις που σχετίζονται με την απόκτηση και επεξεργασία σημάτων υψηλών διαστάσεων. Η κύρια συνεισφορά αυτής της διατριβής βρίσκεται στην ανάπτυξη μοντέλων τανυστών με τεχνικές μηχανικής μάθησης. Αξιοποιώντας τα πλεονεκτήματα και των δύο, της ανάλυσης τανυστών και της μηχανικής μάθησης, παρέχουμε ένα πρωτότυπο πλαίσιο για την επεξεργασία πολυδιάστατων σημάτων που υπερνικά τους περιορισμούς των συμβατικών μοντέλων.