Randomized derivative free optimization via CMA-ES and sparse techniques: applications to radars

Abstract

In this thesis, we investigate aspects of adaptive randomized methods for black-box continuous optimization. The algorithms that we study are based on the Covariance Matrix Adaptation Evolution Strategy (CMA-ES) algorithm and focus on large scale optimization problems. We start with a description of CMA-ES and its relation to the Information Geometric Optimization (IGO) framework, succeeded by a comparative study of large scale variants of CMA-ES. We furthermore propose novel methods which integrate tools of high dimensional estimation within CMA-ES, to obtain more efficient algorithms for large scale partially separable problems. Additionally, we describe the methodology for algorithm performance evaluation adopted by the Comparing Continuous Optimizers (COCO) platform, and finalize the bbob-largescale test suite, a novel benchmarking suite with problems of increased dimensions and with a low computational cost. Finally, we present the formulation, methodology and obtained results for two applications related to Radar problems, the Phase Code optimization problem and the Phased-Array Pattern design problem.

Σε αυτή τη διατριβή, μελετώνται προσαρμοστικές τυχαιοποιημένες μέθοδοι για συνεχή βελτιστοποίηση χωρίς τη χρήση παραγώγων. Οι αλγόριθμοι που μελετώνται βασίζονται στη μέθοδο CMA-ES (Covariance Matrix Adaptation - Evolution Strategy) και εστιάζουν σε προβλήματα βελτιστοποίησης μεγάλης διάστασης. Η διατριβή ξεκινά με μια περιγραφή του αλγορίθμου CMA-ES και με τη σχέση του με την ευρύτερη μέθοδο Information Geometric Optimization (IGO), ακολουθούμενη από μια συγκριτική μελέτη παραλλαγών του CMA-ES για προβλήματα μεγάλης διάστασης. Επιπλέον, προτείνονται νέες μέθοδοι που συνδυάζουν τη χρήση εργαλείων εκτίμησης μεγάλης διάστασης με τη μέθοδο CMA-ES, για να επιτευχθούν πιο αποτελεσματικοί αλγόριθμοι για συγκεκριμένη κλάση προβλημάτων. Επιπρόσθετα, περιγράφουμε τη μεθοδολογία για την ποσοτική σύγκριση και αξιολόγηση της απόδοσης αλγορίθμων συνεχούς βελτιστοποίησης που υιοθετείται από την πλατφόρμα Comparing Continuous Optimizers, και ολοκληρώνουμε την πλατφόρμα bbob-largescale, μια σειρά δοκιμών ποσοτικής σύγκρισης και αξιολόγησης αλγορίθμων που περιλαμβάνει προβλήματα μεγάλων διαστάσεων, της οποίας η υλοποίηση είναι χαμηλού υπολογιστικού κόστους. Τέλος, παρουσιάζουμε τη διατύπωση, τη μεθοδολογία και τα αποτελέσματα που επετεύχθησαν για δύο εφαρμογές που σχετίζονται με προβλήματα του τομέα τεχνολογιών ραντάρ, με τη χρήση των ανωτέρω μεθόδων, το πρόβλημα βελτιστοποίησης Phase Code και το πρόβλημα σχεδιασμού Phased-Array Pattern.