Συμπίεση και επιτάχυνση αλγορίθμων μηχανικής μάθησης μέσω παραγοντοποίησης χαμηλής τάξης

Περίληψη

Η ταχεία εξάπλωση των βαθιών νευρωνικών δικτύων (Deep Neural Networks, DNNs) σε ένα ευρύ φάσμα εφαρμογών συνοδεύεται από σταθερή αύξηση της πολυπλοκότητας των μοντέλων, δημιουργώντας σημαντικές προκλήσεις για την εκτέλεσή τους σε συσκευές περιορισμένων πόρων. Συσκευές, όπως οι φορητές συσκευές (wearables) και τα ενσωματωμένα συστήματα (embedded systems), επιβάλλουν αυστηρούς περιορισμούς στη μνήμη, στο υπολογιστικό φορτίο και στην κατανάλωση ενέργειας, καθιστώντας τη συμπίεση και την επιτάχυνση των DNNs πεδία με έντονο ερευνητικό ενδιαφέρον. Στη βιβλιογραφία έχουν προταθεί διάφορες τεχνικές συμπίεσης, συμπεριλαμβανομένων νέων αλγορίθμων παραγοντοποίησης (factorization) και κλαδέματος (pruning). Σε αντίθεση με τις υπάρχουσες προσεγγίσεις, η παρούσα διατριβή εστιάζει σε μεθοδολογικό επίπεδο, προτείνοντας συστηματικά και πρακτικά βήματα για την αποτελεσματική εφαρμογή των τεχνικών Low Rank Factorization (LRF) και κλαδέματος (pruning). Η εφαρμογή των προτεινόμενων μεθοδολογιών πραγματοποιε ...
περισσότερα

Περίληψη σε άλλη γλώσσα

The rapid proliferation of deep neural networks (DNNs) across a wide range of applications has been accompanied by a steady increase in model complexity, posing significant challenges for deployment on resource-constrained edge devices. These devices, such as wearables and embedded systems, impose strict limitations on memory footprint, computational budget, and energy consumption, making the compression and acceleration of DNNs a critical research problem. While numerous compression techniques have been proposed in the literature, including new decomposition algorithms and pruning criteria, this thesis operates at the methodology level. It proposes systematic, practical frameworks for effectively applying existing low-rank factorization (LRF) and pruning techniques in real-world DNN deployment scenarios. All methodologies operate entirely in the post-training phase, requiring no retraining from scratch and only minimal fine-tuning. LRF decomposes weight matrices and tensors into lower ...
περισσότερα

Όλα τα τεκμήρια στο ΕΑΔΔ προστατεύονται από πνευματικά δικαιώματα.

DOI
10.12681/eadd/63047
Διεύθυνση Handle
http://hdl.handle.net/10442/hedi/63047
ND
63047
Εναλλακτικός τίτλος
Compression and acceleration of machine learning algorithms based on low rank factorization
Συγγραφέας
Κοχαζαντέχ, Μιλάντ (Πατρώνυμο: Αμπντολαλί)
Ημερομηνία
10/2026
Ίδρυμα
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης (ΑΠΘ). Σχολή Θετικών Επιστημών. Τμήμα Πληροφορικής
Εξεταστική επιτροπή
Κεραμίδας Γεώργιος
Κονοφάος Νικόλαος
Κελεφούρας Βασίλειος
Αντωνόπουλος Χρήστος
Τέφας Αναστάσιος
Σιώζιος Κωνσταντίνος
Ζερβάκης Γεώργιος
Επιστημονικό πεδίο
Φυσικές Επιστήμες ➨ Επιστήμη Ηλεκτρονικών Υπολογιστών και Πληροφορική ➨ Τεχνητή νοημοσύνη
Λέξεις-κλειδιά
Παραγοντοποίηση χαμηλής τάξης; Κλάδεμα νευρωνικών δικτύων; Συμπίεση βαθιών νευρωνικών δικτύων; Συσκευές περιορισμένων πόρων; Συσκευές άκρου δικτύου
Χώρα
Ελλάδα
Γλώσσα
Αγγλικά
Άλλα στοιχεία
πιν., σχημ., γραφ.
Στατιστικά χρήσης
ΠΡΟΒΟΛΕΣ
Αφορά στις μοναδικές επισκέψεις της διδακτορικής διατριβής για την χρονική περίοδο 07/2018 - 07/2023.
Πηγή: Google Analytics.
ΞΕΦΥΛΛΙΣΜΑΤΑ
Αφορά στο άνοιγμα του online αναγνώστη για την χρονική περίοδο 07/2018 - 07/2023.
Πηγή: Google Analytics.
ΜΕΤΑΦΟΡΤΩΣΕΙΣ
Αφορά στο σύνολο των μεταφορτώσων του αρχείου της διδακτορικής διατριβής.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.
ΧΡΗΣΤΕΣ
Αφορά στους συνδεδεμένους στο σύστημα χρήστες οι οποίοι έχουν αλληλεπιδράσει με τη διδακτορική διατριβή. Ως επί το πλείστον, αφορά τις μεταφορτώσεις.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.