Περίληψη
Η ταχεία εξάπλωση των βαθιών νευρωνικών δικτύων (Deep Neural Networks, DNNs) σε ένα ευρύ φάσμα εφαρμογών συνοδεύεται από σταθερή αύξηση της πολυπλοκότητας των μοντέλων, δημιουργώντας σημαντικές προκλήσεις για την εκτέλεσή τους σε συσκευές περιορισμένων πόρων. Συσκευές, όπως οι φορητές συσκευές (wearables) και τα ενσωματωμένα συστήματα (embedded systems), επιβάλλουν αυστηρούς περιορισμούς στη μνήμη, στο υπολογιστικό φορτίο και στην κατανάλωση ενέργειας, καθιστώντας τη συμπίεση και την επιτάχυνση των DNNs πεδία με έντονο ερευνητικό ενδιαφέρον. Στη βιβλιογραφία έχουν προταθεί διάφορες τεχνικές συμπίεσης, συμπεριλαμβανομένων νέων αλγορίθμων παραγοντοποίησης (factorization) και κλαδέματος (pruning). Σε αντίθεση με τις υπάρχουσες προσεγγίσεις, η παρούσα διατριβή εστιάζει σε μεθοδολογικό επίπεδο, προτείνοντας συστηματικά και πρακτικά βήματα για την αποτελεσματική εφαρμογή των τεχνικών Low Rank Factorization (LRF) και κλαδέματος (pruning). Η εφαρμογή των προτεινόμενων μεθοδολογιών πραγματοποιε ...
Η ταχεία εξάπλωση των βαθιών νευρωνικών δικτύων (Deep Neural Networks, DNNs) σε ένα ευρύ φάσμα εφαρμογών συνοδεύεται από σταθερή αύξηση της πολυπλοκότητας των μοντέλων, δημιουργώντας σημαντικές προκλήσεις για την εκτέλεσή τους σε συσκευές περιορισμένων πόρων. Συσκευές, όπως οι φορητές συσκευές (wearables) και τα ενσωματωμένα συστήματα (embedded systems), επιβάλλουν αυστηρούς περιορισμούς στη μνήμη, στο υπολογιστικό φορτίο και στην κατανάλωση ενέργειας, καθιστώντας τη συμπίεση και την επιτάχυνση των DNNs πεδία με έντονο ερευνητικό ενδιαφέρον. Στη βιβλιογραφία έχουν προταθεί διάφορες τεχνικές συμπίεσης, συμπεριλαμβανομένων νέων αλγορίθμων παραγοντοποίησης (factorization) και κλαδέματος (pruning). Σε αντίθεση με τις υπάρχουσες προσεγγίσεις, η παρούσα διατριβή εστιάζει σε μεθοδολογικό επίπεδο, προτείνοντας συστηματικά και πρακτικά βήματα για την αποτελεσματική εφαρμογή των τεχνικών Low Rank Factorization (LRF) και κλαδέματος (pruning). Η εφαρμογή των προτεινόμενων μεθοδολογιών πραγματοποιείται αποκλειστικά στη φάση «μετά την εκπαίδευση» (post-training), αποφεύγοντας την πλήρη επανεκπαίδευση των DNN μοντέλων και χρησιμοποιώντας μόνο μια διαδικασία προσαρμογής (fine-tuning). Η τεχνική LRF αποσυνθέτει/παραγοντοποιεί τους πίνακες/τανυστές των βαρών των DNN σε προσεγγίσεις χαμηλής τάξης, μειώνοντας τόσο τον αριθμό των παραμέτρων όσο και τις πράξεις κινητής υποδιαστολής (FLOPs). Ωστόσο, η πρακτική εφαρμογή της τεχνικής LRF παραμένει ένα μεγάλο ερευνητικό πρόβλημα λόγω της δυσκολίας επιλογής των κατάλληλων αλγορίθμων αποσύνθεσης, του προσδιορισμού της βέλτιστης τάξης (rank) για κάθε κόμβο των DNNs, της διαχείρισης των αλληλεπιδράσεων μεταξύ των πολλαπλών κόμβων ενός δικτύου και της εύρεσης της κατάλληλης ισορροπίας μεταξύ του λόγου συμπίεσης, της ακρίβειας και της απόδοσης του δικτύου. Η παρούσα διατριβή αντιμετωπίζει αυτές τις προκλήσεις μέσω μιας σειράς συμπληρωματικών μεθοδολογιών, καθεμία από τις οποίες στοχεύει σε διαφορετικό τύπο κόμβου ή/και στρατηγική συμπίεσης και οι οποίες μαζί συγκροτούν ένα ολοκληρωμένο πλαίσιο για την πρακτική συμπίεση DNNs σε συσκευές που λειτουργούν στο άκρο του δικτύου. Η πρώτη προτεινόμενη μεθοδολογία στοχεύει σε κόμβους πλήρως συνδεδεμένων νευρώνων (Fully Connected layers, FC layers), οι οποίοι συγκεντρώνουν τις περισσότερες παραμέτρους (weights) σε πολλά μοντέλα DNNs. Πιο συγκεκριμένα, προτείνεται μια μεθοδολογία εξερεύνησης του χώρου σχεδίασης (Design Space Exploration, DSE) που αξιολογεί συστηματικά τις υποψήφιες λύσεις LRF μεταξύ πολλαπλών αλγορίθμων αποσύνθεσης, συμπεριλαμβανομένων της αποσύνθεσης Tensor Train (Tensor Train Decomposition, TTD) και προσεγγίσεων βασισμένων στην Ανάλυση Ιδιαζουσών Τιμών (Singular Value Decomposition, SVD), λαμβάνοντας υπόψη τις παραμέτρους και την οργάνωση των DNNs, τα FLOPs και τον χρόνο εκτέλεσης σε μια συσκευή-στόχο (target device). Βασικό στοιχείο της προτεινόμενης μεθοδολογίας είναι ο εντοπισμός του κατάλληλου σημείου ανάμεσα στους αλγορίθμους αποσύνθεσης που να συνδυάζει με βέλτιστο τρόπο το αποτύπωμα μνήμης και τον χρόνο εκτέλεσης σε μια συσκευή-στόχο, καθώς και η συστηματική περικοπή του χώρου σχεδίασης (Design Space pruning) για τη μείωση του αριθμού των υποψήφιων λύσεων που θα προχωρήσουν στη διαδικασία fine-tuning. Η προτεινόμενη μεθοδολογία δεν παράγει μία μοναδική λύση, αλλά ένα σύνολο κατάλληλων διαμορφώσεων LRF, επιτρέποντας στον χρήστη να επιλέξει την καταλληλότερη λύση ανά μοντέλο και με βάση τις προδιαγραφές που τίθενται από την εφαρμογή. Η δεύτερη μεθοδολογία αντιμετωπίζει από κοινού τόσο τους FC όσο και τους συνελικτικούς (Convolutional, Conv) κόμβους του δικτύου. Οι συνελικτικοί κόμβοι εισάγουν πρόσθετη πολυπλοκότητα λόγω της χωρικής τους δομής και της ευαισθησίας τους στην επιλογή τάξης. Στη δεύτερη μεθοδολογία προτείνεται μια νέα προσέγγιση που λαμβάνει υπόψη τις αλληλεπιδράσεις μεταξύ των κόμβων αξιοποιώντας την ομοιότητα των χαρτών χαρακτηριστικών (feature map similarity), αντί των βαρών, μεταξύ του αρχικού και του παραγοντοποιημένου μοντέλου, επιτρέποντας την ακριβή επιλογή της τάξης ανά κόμβο του δικτύου με ελάχιστα βήματα fine-tuning. Η μεθοδολογία αυτή επεκτείνεται περαιτέρω ώστε να υποστηρίζει ταυτόχρονα πολλαπλούς αλγορίθμους αποσύνθεσης, επιτρέποντας την παραγοντοποίηση κάθε κόμβου με τον καταλληλότερο αλγόριθμο και παράγοντας υβριδικά συμπιεσμένα μοντέλα με μεγαλύτερη συμπίεση, χωρίς όμως να επηρεάζεται αισθητά η ακρίβεια των μοντέλων. Οι μετρήσεις σε 17 μοντέλα CNN και εννέα σύνολα δεδομένων (συμπεριλαμβανομένου του μεγάλου συνόλου δεδομένων ImageNet) αποδεικνύουν μέσες μειώσεις παραμέτρων κατά 82,4% στους συνελικτικούς και κατά 92,7% στους FC κόμβους εφαρμόζοντας την προτεινόμενη υβριδική προσέγγιση, με πτώση ακρίβειας μικρότερη του 1,5%. Το σημαντικό είναι ότι η προτεινόμενη διαδικασία είναι κατά μέσο όρο 8 φορές ταχύτερη από τη διαδοχική (ανά κόμβο) εφαρμογή της μεθόδου της αποσύνθεσης. Οι πειραματικές μετρήσεις στην πλατφόρμα NVIDIA Jetson AGX Xavier έδειξαν μέση επιτάχυνση (μείωση του χρόνου εκτέλεσης) 2,34 φορές σε CPUs και 1,37 φορές σε GPUs. Η τρίτη μεθοδολογία εφαρμόζει με έναν νέο, αποτελεσματικό τρόπο την τεχνική του δομημένου κλαδέματος (structured pruning), και συγκεκριμένα το κλάδεμα σε επίπεδο φίλτρων (filter-based pruning), τόσο σε FC όσο και σε Conv κόμβους. Η εφαρμογή της τεχνικής του κλαδέματος γίνεται με τρόπο που λαμβάνονται υπόψη οι πολύπλοκες αλληλοεξαρτήσεις μεταξύ των κόμβων του δικτύου κατά τη διαδικασία της συμπίεσης. Η προτεινόμενη τεχνική ελαχιστοποιεί το υπολογιστικό κόστος αναζήτησης (search overhead) για τον εντοπισμό βέλτιστων διαμορφώσεων pruning, επιτυγχάνοντας υψηλούς λόγους συμπίεσης με σημαντικά μειωμένο κόστος αναζήτησης σε σχέση με τις υπάρχουσες προσεγγίσεις. Ουσιαστικά αναδεικνύεται το γεγονός ότι, εκτός του λόγου συμπίεσης, η μείωση του χρόνου αναζήτησης για την εύρεση της λύσης αποτελεί από μόνη της μια κρίσιμη παράμετρο κατά τη συμπίεση DNNs. Πέρα από τις μεμονωμένες τεχνικές συμπίεσης, στο πλαίσιο της διατριβής διερευνάται η δυνατότητα συνδυασμού της τεχνικής LRF με δύο τεχνικές pruning (filter-based pruning και μη δομημένο pruning ή unstructured pruning) και την τεχνική της κβαντοποίησης (quantization). Ο στόχος είναι να βρεθούν οι δυνατότητες που υπάρχουν για επιπλέον συμπίεση των DNNs όταν πολλαπλές τεχνικές συμπίεσης εφαρμόζονται ταυτόχρονα, αλλά και να βρεθεί αν η σειρά εφαρμογής των διαφόρων τεχνικών επηρεάζει τον τελικό βαθμό συμπίεσης. Όλες οι προτεινόμενες μεθοδολογίες είναι πλήρως παραμετροποιήσιμες, επιτρέποντας στον χρήστη να τις προσαρμόζει σε διαφορετικά μοντέλα και σε διαφορετικές αρχιτεκτονικές, λαμβάνοντας υπόψη τους υπολογιστικούς περιορισμούς ή τις απαιτήσεις μνήμης που τίθενται από την εφαρμογή. Οι προτεινόμενες μεθοδολογίες αποτιμήθηκαν σε πολλαπλές αρχιτεκτονικές DNN και πλατφόρμες (τόσο σε CPUs όσο και σε GPUs) και αξιολογήθηκαν τόσο ως προς την ενεργειακή τους απόδοση όσο και ως προς τον χρόνο εκτέλεσης. Συνολικά, οι μεθοδολογίες που προτείνονται στο πλαίσιο της παρούσας διδακτορικής διατριβής συνεισφέρουν προς την κατεύθυνση της συμπίεσης των DNNs, αλλά με τρόπο που να αυξάνεται η ενεργειακή απόδοση των συμπιεσμένων μοντέλων όταν αυτά εκτελούνται σε συσκευές με περιορισμένους πόρους.
περισσότερα
Περίληψη σε άλλη γλώσσα
The rapid proliferation of deep neural networks (DNNs) across a wide range of applications has been accompanied by a steady increase in model complexity, posing significant challenges for deployment on resource-constrained edge devices. These devices, such as wearables and embedded systems, impose strict limitations on memory footprint, computational budget, and energy consumption, making the compression and acceleration of DNNs a critical research problem. While numerous compression techniques have been proposed in the literature, including new decomposition algorithms and pruning criteria, this thesis operates at the methodology level. It proposes systematic, practical frameworks for effectively applying existing low-rank factorization (LRF) and pruning techniques in real-world DNN deployment scenarios. All methodologies operate entirely in the post-training phase, requiring no retraining from scratch and only minimal fine-tuning. LRF decomposes weight matrices and tensors into lower ...
The rapid proliferation of deep neural networks (DNNs) across a wide range of applications has been accompanied by a steady increase in model complexity, posing significant challenges for deployment on resource-constrained edge devices. These devices, such as wearables and embedded systems, impose strict limitations on memory footprint, computational budget, and energy consumption, making the compression and acceleration of DNNs a critical research problem. While numerous compression techniques have been proposed in the literature, including new decomposition algorithms and pruning criteria, this thesis operates at the methodology level. It proposes systematic, practical frameworks for effectively applying existing low-rank factorization (LRF) and pruning techniques in real-world DNN deployment scenarios. All methodologies operate entirely in the post-training phase, requiring no retraining from scratch and only minimal fine-tuning. LRF decomposes weight matrices and tensors into lower-rank approximations, reducing both the number of parameters and the number of floating-point operations (FLOPs). However, its practical adoption remains challenging due to the difficulty of selecting appropriate decomposition algorithms, determining optimal ranks per layer, handling inter-layer interactions, and balancing trade-offs between compression ratio, accuracy, and inference efficiency. This thesis addresses these challenges through four complementary methodologies, each targeting a different layer type or compression strategy, and together forming a comprehensive framework for practical DNN compression on edge devices. The first methodology targets fully connected (FC) layers, which are the dominant source of parameters in many DNN architectures. In its base approach, a design space exploration (DSE) methodology is proposed that systematically evaluates candidate LRF solutions based on tensor train (TT) decomposition. The extended approach additionally supports singular value decomposition (SVD), selecting the most suitable algorithm for each layer, and considers the number of parameters, FLOPs, and inference execution time on the target device. A key contribution is the identification of trade-offs between decomposition algorithms in terms of memory footprint and inference execution time, together with a systematic reduction of the design space that limits the number of candidates proceeding to fine-tuning. Rather than a single solution, the methodology provides a set of suitable LRF configurations, allowing practitioners to select the most appropriate one for each model and deployment target according to their specific constraints. The second methodology addresses FC and convolutional layers jointly, which introduces additional complexity due to the spatial structure of convolutional layers and their sensitivity to rank selection. A novel approach is proposed that accounts for inter-layer interactions by leveraging the similarity of feature maps, rather than weights, between the original and the factorized models. This enables accurate layer-wise rank selection across both layer types with minimal fine-tuning. The methodology is further extended to support multiple decomposition algorithms simultaneously, allowing each layer to be factorized with the most suitable algorithm. This extends the single-method approach, in which one decomposition algorithm is used for all layers of the same type, to a multi-method (hybrid) approach that produces compressed models with superior compression-accuracy trade-offs. Results of the multi-method (hybrid) approach on 17 convolutional neural network (CNN) models across nine datasets, including ImageNet-scale models, demonstrate average parameter reductions of 82.4% in convolutional layers and 92.7% in FC layers when minimizing the parameter count, with a relative accuracy drop of less than 1.5%, and a one-shot fine-tuning process that is, on average, 8 times faster than iterative calibration. Deployment of models optimized for FLOPs reduction on the NVIDIA Jetson AGX Xavier platform achieves average inference speedups of 2.34 times on the central processing unit (CPU) and 1.37 times on the graphics processing unit (GPU). The third methodology addresses structured pruning, specifically filter pruning in convolutional layers and neuron pruning in FC layers, as a self-adaptive extension of the inter-layer interaction framework. It identifies effective pruning configurations while minimizing search overhead, achieving compression ratios competitive with existing approaches at a significantly lower search cost: the search is up to 55 times faster than layer-wise iterative pruning and up to 35 times faster than Qualcomm's AI Model Efficiency Toolkit (AIMET). This demonstrates that, beyond compression ratio, search efficiency is itself a critical practical consideration for real-world deployment. The fourth methodology moves beyond individual compression techniques and systematically investigates the joint application of LRF, pruning (filter-based and unstructured), and post-training quantization (PTQ). It reveals that a careful ordering and combination of these techniques yield compression gains beyond what any single technique achieves in isolation, with the best-performing pipeline achieving up to 43% more parameter reduction than LRF alone and up to 75% more than filter-based pruning alone, while PTQ proves fully compatible with both. All proposed methodologies are fully parameterized, allowing practitioners to adapt them to different models, architectures, and application-specific constraints without modifying the underlying framework. They are validated on multiple DNN architectures and target platforms, covering both CPU and GPU execution, with evaluation of accuracy, energy efficiency, and inference speedup. The contributions of this thesis collectively advance the state of the art in practical DNN compression, offering a flexible and extensible framework that bridges the gap between high-level model optimization and real-world deployment on edge devices.
περισσότερα