Μη γραμμικές μέθοδοι συζυγών κλίσεων για βελτιστοποίηση και εκπαίδευση νευρωνικών δικτύων

Abstract

The contribution of this thesis focuses on the development and the Mathematical foundation of new conjugate gradient methods for optimization and on the study of new neural network training algorithms and their applications. We propose two new conjugate gradient methods which are based on modified new secant equations with strong theoretical advantages. Moreover, they have the attractive property of ensuring sufficient descent, avoiding thereby the usual inefficient restarts. Further, we established the global convergence of our proposed methods for general functions. The second part of the thesis is dedicated on the development of new neural network training algorithms. We propose some new conjugate gradient training methods which guarantee sufficient descent and are globally convergent for general functions. Encouraging numerical experiments on famous benchmarks verify that our proposed methods provide fast, stable and reliable convergence, outperforming classical training methods.

Η συνεισφορά της παρούσας διατριβής επικεντρώνεται στην ανάπτυξη και στη Μαθηματική θεμελίωση νέων μεθόδων συζυγών κλίσεων για βελτιστοποίηση και στη μελέτη νέων μεθόδων εκπαίδευσης νευρωνικών δικτύων και εφαρμογών τους. Αναπτύσσουμε δύο νέες μεθόδους βελτιστοποίησης, οι οποίες ανήκουν στην κλάση των μεθόδων συζυγών κλίσεων. Οι νέες μέθοδοι βασίζονται σε τροποποιημένες εξισώσεις της τέμνουσας με ισχυρά θεωρητικά πλεονεκτήματα. Επιπλέον, μία σημαντική ιδιότητα και των δύο προτεινόμενων μεθόδων είναι ότι εγγυώνται επαρκή μείωση αποφεύγοντας τις συχνά αναποτελεσματικές επανεκκινήσεις. Επίσης, αποδείξαμε την ολική σύγκλιση των μεθόδων για μη κυρτές συναρτήσεις. Το δεύτερο μέρος της διατριβής είναι αφιερωμένο στην ανάπτυξη νέων μεθόδων εκπαίδευσης νευρωνικών δικτύων. Οι νέες προτεινόμενες μέθοδοι συζυγών κλίσεων εξασφάλιζαν επαρκή μείωση και σύγκλιναν ολικά για μη κυρτές συναρτήσεις. Τα αριθμητικά αποτελέσματα επαληθεύουν ότι οι προτεινόμενες μέθοδοι παρέχουν γρήγορη, σταθερότερη και πιο αξιόπιστη σύγκλιση, υπερτερώντας των κλασικών μεθόδων εκπαίδευσης.