Optimization algorithms for black- box problems

Abstract

Black-box optimization (BBO) problems are prevalent in modern science and engineering, arising from computationally expensive simulations or physical experiments where the objective function and its derivatives are inaccessible. These problems often feature high computational cost, non-convexity, and mixed-variable domains (continuous, integer, categorical). This thesis addresses these challenges by developing a comprehensive adaptive sampling framework to significantly enhance the efficiency and robustness of Derivative-Free Optimization (DFO) algorithms in BBO settings. The primary contribution is a modular framework incorporating various components, such as initial sampling, surrogate modeling, adaptive sampling, and DFO methods. A core innovation is the utilization of an Error Maximization Strategy (EMS) to guide the search. Unlike traditional DFO methods, the EMS strategically directs the search to regions where the current surrogate model exhibits the largest prediction error, effectively bridging the gap between machine learning and optimization by iteratively refining model accuracy in uncertain solution spaces. Building on this framework, two new optimization algorithms were developed: ADASNOBFIT, an enhancement of the SNOBFIT algorithm for continuous and mixed-integer problems, and ADAMISO, an extension of the MISO framework for pure integer and mixed-integer optimization. Both new algorithms significantly reduce the number of function evaluations required compared to their standalone counterparts. The methodology was benchmarked on two extensive test suites (776 continuous and 594 mixed-integer problems) adapted from the MINLPLib library, validating the effectiveness of the proposed adaptive approach. The practical applicability and versatility were further demonstrated through three distinct real-world engineering case studies: optimization of electromagnetic components, tuning the GCC compiler optimization flags, and optimization of Concentrated Solar Power plants.

Τα προβλήματα βελτιστοποίησης μαύρου κουτιού (BBO) είναι διαδεδομένα στη σύγχρονη επιστήμη και τη μηχανική, τα οποία προκύπτουν από υπολογιστικά δαπανηρές προσομοιώσεις ή φυσικά πειράματα όπου η αντικειμενική συνάρτηση και οι παράγωγοί της δεν είναι προσβάσιμες. Αυτά τα προβλήματα συχνά χαρακτηρίζονται από υψηλό υπολογιστικό κόστος, μη κυρτότητα και πεδία μικτών μεταβλητών (συνεχείς, ακέραιες, κατηγορικές). Η παρούσα διατριβή αντιμετωπίζει αυτές τις προκλήσεις αναπτύσσοντας ένα ολοκληρωμένο πλαίσιο προσαρμοστικής δειγματοληψίας για τη σημαντική ενίσχυση της αποδοτικότητας και της ευρωστίας της βελτιστοποίησης χωρίς παραγώγους (DFO) σε περιβάλλοντα BBO. Η κύρια συνεισφορά είναι ένα πλαίσιο που ενσωματώνει διάφορα στοιχεία, όπως μεθόδους αρχικής δειγματοληψίας, μοντελοποίησης υποκατάστατων (surrogate modeling), μεθόδους προσαρμοστικής δειγματοληψίας και μεθόδους DFO. Μια βασική καινοτομία αποτελεί η χρησιμοποίηση μιας στρατηγικής μεγιστοποίησης σφάλματος (EMS). Σε αντίθεση με τις παραδοσιακές μεθόδους DFO, η EMS κατευθύνει στρατηγικά την αναζήτηση σε περιοχές όπου το τρέχον υποκατάστατο μοντέλο παρουσιάζει το μεγαλύτερο σφάλμα πρόβλεψης, γεφυρώνοντας ουσιαστικά το χάσμα μεταξύ μηχανικής μάθησης και βελτιστοποίησης μέσω της επαναληπτικής βελτίωσης της ακρίβειας του μοντέλου σε αβέβαιους χώρους λύσεων. Βασιζόμενοι σε αυτό το πλαίσιο, αναπτύχθηκαν δύο νέοι αλγόριθμοι βελτιστοποίησης: ο ADASNOBFIT, μια βελτίωση του αλγορίθμου SNOBFIT για συνεχή προβλήματα και προβλήματα μικτού ακεραίου προγραμματισμού, και ο ADAMISO, μια επέκταση του πλαισίου MISO για βελτιστοποίηση αμιγώς ακεραίων και μικτών ακεραίων μεταβλητών. Και οι δύο νέοι αλγόριθμοι μειώνουν σημαντικά τον απαιτούμενο αριθμό υπολογισμών της συνάρτησης σε σύγκριση με τους αρχικούς ομολόγους τους. Η μεθοδολογία αξιολογήθηκε συγκριτικά σε δύο εκτεταμένα σύνολα δοκιμών (776 συνεχών και 594 προβλημάτων μικτών ακεραίων μεταβλητών) από τη βιβλιοθήκη MINLPLib, επικυρώνοντας την αποτελεσματικότητα της προτεινόμενης προσέγγισης. Η πρακτική εφαρμοσιμότητα και η ευελιξία καταδείχθηκαν περαιτέρω μέσω τριών διακριτών μελετών περίπτωσης μηχανικής από τον πραγματικό κόσμο: βελτιστοποίηση ηλεκτρομαγνητικών εξαρτημάτων, ρύθμιση παραμέτρων για τις σημαίες βελτιστοποίησης του μεταγλωττιστή GCC και βελτιστοποίηση σταθμών Συγκεντρωτικής Ηλιακής Ισχύος (CSP).