Λύνοντας προβλήματα δειγματοληψίας και βελτιστοποίησης μέσω Tamed Langevin MCMC αλγορίθμων, σε συνθήκες υπερ-γραμμικότητας

Περίληψη

Στην παρούσα διατριβή, διερευνάται το πρόβλημα της δειγματοληψίας από κατανομές με υπερ-γραμμικά αυξανόμενο λογαριθμικό βαθμωτό και εξετάζονται οι εφαρμογές στα συναφή προβλήματα βελτιστοποίησης. Αυτή η πρόκληση αντιμετωπίζεται σε διάφορα σενάρια μέσω ρητών αριθμητικών σχημάτων που βασίζονται στην έννοια της ημέρωσης, μιας τεχνικής που χρησιμοποιείται για την αντιμετώπιση των ζητημάτων που προκαλούν οι συντελεστές με υπερ-γραμμική αύξηση. Το πρώτο μέρος της διατριβής εστιάζει σε υποθέσεις που προκύπτουν από εφαρμογές νευρωνικών δικτύων, όπως η μη-κυρτότητα και η τοπική Lipschitz συνέχεια του λογαριθμικού βαθμωτού. Υπό αυτές τις συνθήκες, παράγονται ρητά μη-ασυμπτωτικά όρια σε αποστάσεις Wasserstein για το πρόβλημα μη-κυρτής δειγματοληψίας, χρησιμοποιώντας μια νέα ημερωμένη παραλλαγή του κλασικού αλγορίθμου Στοχαστικής Βαθμίδας Langevin (SGLD). Αυτά τα αποτελέσματα εφαρμόζονται για τον έλεγχο του προβλήματος υπερβάλλουσας απώλειας βελτιστοποίησης, δείχνοντας ότι ο νέος αλγόριθμος δειγμα ...
περισσότερα

Περίληψη σε άλλη γλώσσα

In this thesis, we investigate the problem of sampling from distributions with super-linearly growing log-gradient and the applications to the related optimization problems. This challenge is tackled in different scenarios using explicit numerical schemes which have their foundations on the concept of taming, which is a technique deployed to remedy the issues posed by coefficients with super-linear growth. In the first part of the thesis, under assumptions imposed by neural network applications, such as non-convexity and log-gradient local Lipschitz continuity, explicit non-asymptotic bounds in Wasserstein distances for the non-convex sampling problem are produced, using a novel tamed variant of the vanilla Stochastic Gradient Langevin Dynamics (SGLD)algorithm. Applying these results, the excess risk optimization problem is controlled, showing that the new sampling algorithm can also work as an optimizer. In the second part of the thesis, a new tamed variant of the Unadjusted Langevin ...
περισσότερα

Όλα τα τεκμήρια στο ΕΑΔΔ προστατεύονται από πνευματικά δικαιώματα.

DOI
10.12681/eadd/57577
Διεύθυνση Handle
http://hdl.handle.net/10442/hedi/57577
ND
57577
Εναλλακτικός τίτλος
Solving sampling and optimization problems via Tamed Langevin MCMC algorithms in the presence of super-linearities
Συγγραφέας
Λύτρας, Ιωσήφ (Πατρώνυμο: Διονύσιος-Παναγιώτης)
Ημερομηνία
2023
Ίδρυμα
University of Edinburgh
Εξεταστική επιτροπή
Lelievre Tony
Chevyrev Ilya
Sabanis Sotirios
Επιστημονικό πεδίο
Φυσικές ΕπιστήμεςΜαθηματικά ➨ Στατιστική και Πιθανότητες
Λέξεις-κλειδιά
Δειγματοληψία; Langevin; Βελτιστοποίηση; Εξημέρωση; Τοπικά Lipschitz βαθμωτό
Χώρα
Ηνωμένο Βασίλειο
Γλώσσα
Αγγλικά
Άλλα στοιχεία
πιν., γραφ.
Στατιστικά χρήσης
ΠΡΟΒΟΛΕΣ
Αφορά στις μοναδικές επισκέψεις της διδακτορικής διατριβής για την χρονική περίοδο 07/2018 - 07/2023.
Πηγή: Google Analytics.
ΞΕΦΥΛΛΙΣΜΑΤΑ
Αφορά στο άνοιγμα του online αναγνώστη για την χρονική περίοδο 07/2018 - 07/2023.
Πηγή: Google Analytics.
ΜΕΤΑΦΟΡΤΩΣΕΙΣ
Αφορά στο σύνολο των μεταφορτώσων του αρχείου της διδακτορικής διατριβής.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.
ΧΡΗΣΤΕΣ
Αφορά στους συνδεδεμένους στο σύστημα χρήστες οι οποίοι έχουν αλληλεπιδράσει με τη διδακτορική διατριβή. Ως επί το πλείστον, αφορά τις μεταφορτώσεις.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.