Μη γραμμικές μέθοδοι συζυγών κλίσεων για βελτιστοποίηση και εκπαίδευση νευρωνικών δικτύων
Περίληψη
Η συνεισφορά της παρούσας διατριβής επικεντρώνεται στην ανάπτυξη και στη Μαθηματική θεμελίωση νέων μεθόδων συζυγών κλίσεων για βελτιστοποίηση και στη μελέτη νέων μεθόδων εκπαίδευσης νευρωνικών δικτύων και εφαρμογών τους. Αναπτύσσουμε δύο νέες μεθόδους βελτιστοποίησης, οι οποίες ανήκουν στην κλάση των μεθόδων συζυγών κλίσεων. Οι νέες μέθοδοι βασίζονται σε τροποποιημένες εξισώσεις της τέμνουσας με ισχυρά θεωρητικά πλεονεκτήματα. Επιπλέον, μία σημαντική ιδιότητα και των δύο προτεινόμενων μεθόδων είναι ότι εγγυώνται επαρκή μείωση αποφεύγοντας τις συχνά αναποτελεσματικές επανεκκινήσεις. Επίσης, αποδείξαμε την ολική σύγκλιση των μεθόδων για μη κυρτές συναρτήσεις. Το δεύτερο μέρος της διατριβής είναι αφιερωμένο στην ανάπτυξη νέων μεθόδων εκπαίδευσης νευρωνικών δικτύων. Οι νέες προτεινόμενες μέθοδοι συζυγών κλίσεων εξασφάλιζαν επαρκή μείωση και σύγκλιναν ολικά για μη κυρτές συναρτήσεις. Τα αριθμητικά αποτελέσματα επαληθεύουν ότι οι προτεινόμενες μέθοδοι παρέχουν γρήγορη, σταθερότερη και πιο αξ ...
περισσότερα
Περίληψη σε άλλη γλώσσα
The contribution of this thesis focuses on the development and the Mathematical foundation of new conjugate gradient methods for optimization and on the study of new neural network training algorithms and their applications. We propose two new conjugate gradient methods which are based on modified new secant equations with strong theoretical advantages. Moreover, they have the attractive property of ensuring sufficient descent, avoiding thereby the usual inefficient restarts. Further, we established the global convergence of our proposed methods for general functions. The second part of the thesis is dedicated on the development of new neural network training algorithms. We propose some new conjugate gradient training methods which guarantee sufficient descent and are globally convergent for general functions. Encouraging numerical experiments on famous benchmarks verify that our proposed methods provide fast, stable and reliable convergence, outperforming classical training methods.
Κατεβάστε τη διατριβή σε μορφή PDF (1.55 MB)
(Η υπηρεσία είναι διαθέσιμη μετά από δωρεάν εγγραφή)
|
Όλα τα τεκμήρια στο ΕΑΔΔ προστατεύονται από πνευματικά δικαιώματα.
|
Στατιστικά χρήσης
ΠΡΟΒΟΛΕΣ
Αφορά στις μοναδικές επισκέψεις της διδακτορικής διατριβής για την χρονική περίοδο 07/2018 - 07/2023.
Πηγή: Google Analytics.
Πηγή: Google Analytics.
ΞΕΦΥΛΛΙΣΜΑΤΑ
Αφορά στο άνοιγμα του online αναγνώστη για την χρονική περίοδο 07/2018 - 07/2023.
Πηγή: Google Analytics.
Πηγή: Google Analytics.
ΜΕΤΑΦΟΡΤΩΣΕΙΣ
Αφορά στο σύνολο των μεταφορτώσων του αρχείου της διδακτορικής διατριβής.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.
ΧΡΗΣΤΕΣ
Αφορά στους συνδεδεμένους στο σύστημα χρήστες οι οποίοι έχουν αλληλεπιδράσει με τη διδακτορική διατριβή. Ως επί το πλείστον, αφορά τις μεταφορτώσεις.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.