Αλγόριθμοι και αρχιτεκτονικές βαθειάς μάθησης για επεξεργασία φυσικής γλώσσας

Περίληψη

Αυτή η διατριβή διερευνά την ανάπτυξη αλγορίθμων και αρχιτεκτονικών βαθιάς μάθησης που μπορούν να χρησιμοποιηθούν στην επεξεργασία φυσικής γλώσσας. Για το λόγο αυτό, αξιοποιούμε ένα πρωτότυπο πλαίσιο βελτιστοποίησης υπό περιορισμούς που ενσωματώνει a priori γνώσεις στη διαδικασία της εκπαίδευσης. Το πλαίσιο αυτό επιδιώκει να μεγιστοποιήσει σταδιακά μια αντικειμενική συνάρτηση και ταυτόχρονα να ικανοποιήσει ένα σύνολο προϋποθέσεων κατά τη διάρκεια της εκπαίδευσης. Οι προϋποθέσεις αυτές είναι οι εξής: α) η συνάρτηση κόστους πρέπει να μειώνεται σε κάθε εποχή και β) η αναζήτηση του βέλτιστου διανύσματος προσαρμογής βαρών θα πρέπει να περιορίζεται σε μια υπερσφαίρα γνωστής ακτίνας, έτσι ώστε να μην αυξάνονται απεριόριστα οι τιμές των βαρών. Η αντικειμενική συνάρτηση είναι μια ποσότητα που κωδικοποιεί τις πρόσθετες γνώσεις που πρέπει να ενσωματωθούν στον μηχανισμό μάθησης. Μέσω της επίλυσης αυτού του προβλήματος βελτιστοποίησης υπό περιορισμούς εξάγεται ένα γενικό πλαίσιο βελτιστοποίησης, τ ...
περισσότερα

Περίληψη σε άλλη γλώσσα

This dissertation explores the development of deep neural networks training algorithms and architectures which can be utilized in real world Natural Language Processing (NLP) tasks. To this end, we develop a novel constrained optimization framework that incorporates a-priori knowledge in the training process. Two different types of knowledge are explored: i) intrinsic knowledge about the characteristics of the network's loss function landscape, and ii) external knowledge originating from the nature of the learning task. In the case of intrinsic knowledge we develop a generic algorithm for training deep neural networks utilizing information from the second derivatives of the loss function (Hessian matrix). However the algorithm is Hessian free in the sense that it only requires the computation of a Hessian-vector product which can be computed exactly and very efficiently within any modern computational graph framework. We demonstrate the efficiency of the proposed algorithm in a variety ...
περισσότερα
Η διατριβή είναι δεσμευμένη από τον συγγραφέα  (μέχρι και: 10/2021)
Διεύθυνση Handle
http://hdl.handle.net/10442/hedi/48299
ND
48299
Εναλλακτικός τίτλος
Deep learning algorithms and architectures for natural language processing
Συγγραφέας
Σακκέτου, Φλώρα του Παντελεήμων
Ημερομηνία
2020
Ίδρυμα
Πανεπιστήμιο Αιγαίου. Σχολή Πολυτεχνική. Τμήμα Μηχανικών Οικονομίας και Διοίκησης
Εξεταστική επιτροπή
Αμπαζής Νικόλαος
Δριβαλιάρης Δημοσθένης
Περαντώνης Σταύρος
Ανδρουτσόπουλος Ιωάννης
Δούνιας Γεώργιος
Μυλωνάς Φοίβος
Βασιλείου Ευάγγελος
Επιστημονικό πεδίο
Φυσικές Επιστήμες
Επιστήμη Ηλεκτρονικών Υπολογιστών και Πληροφορική
Λέξεις-κλειδιά
Βαθειά μάθηση; Επεξεργασία φυσικής γλώσσας; Αλγόριθμοι βελτιστοποίησης
Χώρα
Ελλάδα
Γλώσσα
Αγγλικά
Άλλα στοιχεία
1, xix, 183 σ., πιν., σχημ., γραφ., ευρ.
Στατιστικά χρήσης
ΠΡΟΒΟΛΕΣ
Αφορά στις μοναδικές επισκέψεις της διδακτορικής διατριβής.
Πηγή: Google Analytics.
ΞΕΦΥΛΛΙΣΜΑΤΑ
Αφορά στο άνοιγμα του online αναγνώστη.
Πηγή: Google Analytics.
ΜΕΤΑΦΟΡΤΩΣΕΙΣ
Αφορά στο σύνολο των μεταφορτώσων του αρχείου της διδακτορικής διατριβής.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.
ΧΡΗΣΤΕΣ
Αφορά στις μοναδικές επισκέψεις της διδακτορικής διατριβής.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.