Κατασκευές και στατιστική ανάλυση παραγοντικών και εύρωστων παραμετρικών σχεδιασμών

Abstract

This dissertation deals with the construction and statistical analysis of factorial and robust parameter designs. The study of experimental designs is extremely important in modern industry, science and engineering. In Chapter 1 we provide some basic concepts in factorial designs, optimal designs, and computer experiments. We also provide a concise presentation of the most important points regarding the objectives of the experiments, the steps for an experiment to be successful as well as the elements that influence the good choice of an experimental design. Chapter 2 is devoted to a brief introduction to computer experiments, which are extremely important in modern industry, science and engineering. In Chapter 3 we study U-type, Column-orthogonal and nearly column-orthogonal designs. The nearly column-orthogonal designs are very useful in cases where column-orthogonal designs are unknown. In this chapter we present the construction of new designs suitable for screening experiments. In some cases, the constructed designs are optimal in respect to the alias structure. The structure of the alias effects of the U-type, Column-orthogonal and nearly column-orthogonal designs are calculated and presented in closed form. This fact makes this new approach highly innovative and makes it capable of constructing designs that are different from the existing designs in the literature. In addition, we present an extended multiplication theorem, as well as new infinite families of column-orthogonal designs using periodic golay pairs. The research results presented in this chapter were published in the scientific paper [II]. The following chapter (Chapter 4) introduces some basic concepts for factorial designs. Particular emphasis is given in a special class of fractional factorial designs, the supersaturated designs for which basic concepts are presented regarding their optimization criteria, their construction as well as their analysis. Chapter 5 discloses a method of constructing multi and mixed-level supersaturated designs. In particular, we provide a new lower bound for the optimality of such designs. This bound is proved to be tight and quite general since it can be applied to both balanced and unbalanced designs. In addition, new families of balanced and nearly balanced supersaturated designs are both constructed and evaluated. The new designs are constructed by applying the k-circulant type methodology for multilevel and mixed-level designs. Moreover, additional conditions, that are needed on the generator vectors, are developed and proved in this paper to pre-ensure the optimality of the corresponding k-circulant supersaturated designs. This methodology leads to a series of new families of improved supersaturated designs and provides tools for directly constructing optimal or nearly-optimal k-circulant designs by just checking the corresponding generator vector. The research results presented in this chapter were published in the scientific paper [V]. In the next two chapters we study two methods for analyzing supersaturated designs. More specifically, in Chapter 6 we present a method for analyzing both two-level and mixed-level designs. The development of new statistical methods inspired by machine learning algorithms is increasing rapidly, especially nowadays. One of such methods is based on support vector machines (SVM), which manageto successfully extract important genes in classification problems, achieving extremely high performance. In this chapter, we propose a new method of selecting variables in regression problems, called SVR-RFE (Support Vector Regression Recursive Feature Elimination), for detecting active effects in both two-level and mixed-level designs. The simulation studies that we present demonstrate that this process is quite effective, especially in terms of statistical power. The research results presented in this chapter were published in the scientific paper [III]. Then, in Chapter 7, we present a method of analyzing two-level supersaturated designs. In particular, we present a two-stage procedure for analyzing two-level supersaturated designs assuming a main-effect only model without including interaction terms. The proposed method combines sure independence screening (SIS) with different penalty functions; such as Smoothly Clipped Absolute Deviation (SCAD), Lasso and MC penalty achieving both the down-selection and the estimation of the significant effects, simultaneously. Insights on using the proposed methodology are provided through various simulation scenarios and several comparisons with existing approaches, such as stepwise in combination with SCAD and Dantzig Selector (DS) are presented as well. Results of the numerical study and real data analysis reveal that the proposed procedure can be considered as an advantageous tool due to its extremely good performance for identifying active factors. The research results presented in this chapter were published in the scientific paper [VI]. Chapter 8 addresses some basic concepts for robust parameter designs. Particular emphasis is given on both types of designs that make up the robust parameter design methodology and the modelling techniques, including location and dispersion modelling as well as response modelling. In Chapter 9, we propose a construction of an effective SSD along with an analysis method, in order to deal with the significant problem of the robust parameter design methodology (RPDM). Combining iterative SIS variable selection and a penalized method, namely SCAD, we perform the analysis of the SSDs developed in the present work. The proposed methodology is applied in different models so as to show its effectiveness in many different scenarios, assuming both first and second-order models in a sense of a response surface design. Two illustrative examples as well as numerous numerical experiments are conducted for plenty cases. The results imply that the proposed method is highly effective for identifying the active effects of main factors, two-factor interactions, three-factor interactions as well as the pure quadratic ones, under the assumption of effect sparsity. The research results presented in this chapter were published in the scientific paper [V]. The presentation of the research project for this dissertation is completed with Chapter 10, where we propose a construction for supersaturated split-plot Designs (SSSPD) suitable for RPD experiments. We applied the methodology of compound orthogonal arrays using orthogonal arrays of strength greater than 1, for the split-plot units and any relevant balanced SSD for the whole plot units. The proposed methodology suggests that experiments conducted in a split-plot point of view can be of tremendous value in RPD since they enable the estimation of the contrasts of interest in considerably easier way than the designs proposed by Taguchi. The research results presented in this chapter were published in the scientific paper [IV]. The presentation of this dissertation is completed with the four Appendixes. In Appendix A we summarize the results obtained from Chapter 5. In Appendix B we present the results of the simulations that emerged from Chapter 6. In Appendix G we present the results of the simulations resulting from Chapter 7 and finally in Appendix D we give the proof of Lemma 1 as well as the results of the simulations resulting from Chapter 9.

Η παρούσα διατριβή ασχολείται με την κατασκευή και τη στατιστική ανάλυση των παραγοντικών και των εύρωστων παραμετρικών σχεδιασμών. Η μελέτη των πειραματικών σχεδιασμών είναι εξαιρετικά σημαντική στη σύγχρονη βιομηχανία, στην επιστήμη και στη μηχανική. Στο Κεφάλαιο 1 παρέχουμε μερικές βασικές έννοιες στους παραγοντικούς σχεδιασμούς, στους βέλτιστους σχεδιασμούς και στα πειράματα υπολογιστών. Επίσης παρέχουμε μια συγκεντρωτική παρουσίαση των σημαντικότερων σημείων όσον αφορά στους στόχους των πειραμάτων, τα βήματα για να είναι επιτυχημένο ένα πείραμα καθώς επίσης και τα στοιχεία που επηρεάζουν την καλή επιλογή ενός πειραματικού σχεδιασμού. Το Κεφάλαιο 2 αφιερώνεται σε μια σύντομη εισαγωγή για τα πειράματα υπολογιστών, τα οποία είναι εξαιρετικά σημαντικά στη σύγχρονη βιομηχανία, στην επιστήμη και στη μηχανική. Στο Κεφάλαιο 3 μελετάμε τους U-type, ορθογώνιους κατά στήλη (column-orthogo-nal) και τους σχεδόν ορθογώνιους κατά στήλη (nearly column-orthogonal) σχεδιασμούς. Οι σχεδόν ορθογώνιοι κατά στήλη σχεδιασμοί είναι πολύ χρήσιμοι σε περιπτώσεις όπου δεν είναι γνωστοί οι ορθογώνιοι κατά στήλη σχεδιασμοί. Στο παρόν κεφάλαιο παρουσιάζουμε την κατασκευή νέων σχεδιασμών οι οποίοι είναι κατάλληλοι για πειράματα κρησαρίσματος (screening experiments). Σε κάποιες περιπτώσεις, οι σχεδιασμοί που κατασκευάστηκαν είναι βέλτιστοι όσον αφορά στη δομή των ταυτόσημων επιδράσεων (aliased structure). Οι δομές των ταυτόσημων επιδράσεων των U-type, ορθογώνιων και σχεδόν ορθογώνιων κατά στήλη σχεδιασμών, υπολογίζονται και παρουσιάζονται σε κλειστή μορφή. Το γεγονός αυτό κάνει αυτή την καινούργια προσέγγιση ιδιαίτερα καινοτόμα και καθιστά ικανή την κατασκευή σχεδιασμών που είναι διαφορετικοί από τους ήδη υπάρχοντες στη βιβλιογραφία. Επίσης παρουσιάζονται ένα εκτεταμένο πολλαπλασιαστικό θεώρημα (multiplication theorem), καθώς και νέες άπειρες οικογένειες (infinite families) ορθογώνιων κατά στήλη σχεδιασμών χρησιμοποιώντας ζεύγη περιοδικών ακολουθιών Golay (periodic Golay pairs). Τα ερευνητικά αποτελέσματα που παρουσιάζονται στο παρόν κεφάλαιο δημοσιεύτηκαν στην επιστημονική εργασία [II]. Στο επόμενο κεφάλαιο (Κεφάλαιο 4) παρουσιάζονται κάποιες βασικές έννοιες για τους παραγοντικούς σχεδιασμούς. Ιδιαίτερη βαρύτητα δίνεται σε μία ειδική κλάση κλασματικών παραγοντικών σχεδιασμών, τους υπερκορεσμένους σχεδιασμούς για τους οποίους παρουσιάζονται βασικές έννοιες σχετικά με τα κριτήρια βελτιστότητας, την κατασκευή και την ανάλυσή τους. Το Κεφάλαιο 5 παρουσιάζει μία μέθοδο κατασκευής υπερκορεσμένων σχεδιασμών πολλαπλών και μικτών-επιπέδων. Πιο συγκεκριμένα, παρέχουμε ένα νέο κάτω φράγμα για την βελτιστοποίηση τέτοιων σχεδιασμών. Αυτό το φράγμα αποδεικνύεται ότι είναι ισχυρό και αρκετά γενικό αφού μπορεί να εφαρμοστεί σε ισορροπημένους και μη ισορροπημένους σχεδιασμούς. Επιπλέον, κατασκευάζονται και αξιολογούνται νέες οικογένειες ισορροπημένων και μη ισορροπημένων υπερκορεσμένων σχεδιασμών. Οι νέοι σχεδιασμοί κατασκευάζονται εφαρμόζοντας τη μεθοδολογία των k- κυκλικών σχεδιασμών για τους σχεδιασμούς πολλαπλών και μικτών επιπέδων. Επιπλέον, αναπτύσσονται και αποδεικνύονται πρόσθετες συνθήκες που είναι απαραίτητες για τους γεννήτορες και οι οποίες εξασφαλίζουν ότι οι αντίστοιχοι $κ-$κυκλικοί υπερκορεσμένοι σχεδιασμοί είναι βέλτιστοι. Η παρούσα μεθοδολογία οδηγεί σε μια σειρά νέων, βελτιωμένων, οικογενειών υπερκορεσμένων σχεδιασμών και παρέχει εργαλεία για την άμεση κατασκευή βέλτιστων ή σχεδόν βέλτιστων k-κυκλικών σχεδιασμών, ελέγχοντας απλά τον αντίστοιχο γεννήτορα. Τα ερευνητικά αποτελέσματα που παρουσιάζονται στο παρόν κεφάλαιο δημοσιεύτηκαν στην επιστημονική εργασία [V]. Στα επόμενα δύο κεφάλαια μελετάμε δύο μεθόδους για την ανάλυση υπερκορεσμένων σχεδιασμών. Πιο συγκεκριμένα, στο Κεφάλαιο 6 παρουσιάζουμε μία μέθοδο ανάλυσης υπερκορεσμένων σχεδιασμών δύο, πολλαπλών και μικτών-επιπέδων. Η ανάπτυξη νέων στατιστικών μεθόδων που είναι εμπνευσμένες από τους αλγόριθμους μηχανικής μάθησης αυξάνεται ταχύτατα, ιδιαίτερα στην εποχή μας. Μία από αυτές τις μεθόδους βασίζεται στις μηχανές διανυσμάτων υποστήριξης (SVM), οι οποίες καταφέρνουν να εξαγάγουν με μεγάλη επιτυχία τα σημαντικά γονίδια σε προβλήματα ταξινόμησης, επιτυγχάνοντας εξαιρετικά υψηλή απόδοση. Σε αυτό το κεφάλαιο, λοιπόν, προτείνουμε μία νέα μέθοδο επιλογής μεταβλητών σε προβλήματα παλινδρόμησης, που την ονομάζουμε SVR-RFE, για την ανίχνευση ενεργών επιδράσεων τόσο σε σχεδιασμούς δύο επιπέδων όσο και σε σχεδιασμούς μικτών επιπέδων. Οι μελέτες προσομοίωσης που παρουσιάζουμε δείχνουν ότι αυτή η διαδικασία είναι αρκετά αποτελεσματική, ειδικά όσον αφορά τη στατιστική ισχύ. Τα ερευνητικά αποτελέσματα που παρουσιάζονται στο παρόν κεφάλαιο δημοσιεύτηκαν στην επιστημονική εργασία [ΙΙΙ]. Στη συνέχεια, στο Κεφάλαιο 7 παρουσιάζουμε μία μέθοδο ανάλυσης υπερκορεσμένων σχεδιασμών δύο επιπέδων. Πιο συγκεκριμένα, παρουσιάζουμε μια διαδικασία δύο σταδίων για την ανάλυση δύο επιπέδων ΥΣ θεωρώντας ένα μοντέλο κύριων επιδράσεων, χωρίς την παρουσία αλληλεπιδράσεων. Η προτεινόμενη διαδικασία συνδυάζει τη μέθοδο του σίγουρου κρησαρίσματος (sure independence screening, SIS) με τις ποινικοποιημένες μεθόδους, όπως είναι η SCAD, η LASSO και η MC. Με τη διαδικασία αυτή επιτυγχάνουμε ταυτόχρονα τόσο την επιλογή όσο και την εκτίμηση των σημαντικών επιδράσεων. Η απόδοση της μεθόδου παρουσιάζεται μέσω διαφόρων σεναρίων προσομοίωσης όπου πραγματοποιούνται συγκρίσεις με υπάρχουσες μεθοδολογίες. Οι μέθοδοι που χρησιμοποιήσαμε στην παρούσα μελέτη είναι η παλινδρόμηση κατά βήματα σε συνδυασμό με τη SCAD, καθώς επίσης και ο DS. Τα αποτελέσματα από τη μελέτη προσομοιώσεων, και από ένα παράδειγμα με πραγματικά δεδομένα, αποκαλύπτουν ότι η προτεινόμενη διαδικασία μπορεί να θεωρηθεί ως ένα επωφελές εργαλείο λόγω της εξαιρετικά καλής απόδοσής του για τον εντοπισμό ενεργών παραγόντων. Τα ερευνητικά αποτελέσματα που παρουσιάζονται στο παρόν κεφάλαιο δημοσιεύτηκαν στην επιστημονική εργασία [VI]. Το Κεφάλαιο 8 πραγματεύεται κάποιες βασικές έννοιες για τους εύρωστους παραμετρικούς σχεδιασμούς. Ιδιαίτερη βαρύτητα δίνεται τόσο στα είδη των σχεδιασμών που απαρτίζουν τη μεθοδολογία των εύρωστων παραμετρικών σχεδιασμών όσο και στις τεχνικές μοντελοποίησης, που συμπεριλαμβάνουν τη μοντελοποίηση θέσης και διασποράς άρα και την αποκριτική μοντελοποίηση. Στο Κεφάλαιο 9 προτείνουμε μια κατασκευή αποτελεσματικών ΥΣ μαζί με μία μέθοδο ανάλυσης, προκειμένου να αντιμετωπιστεί το ιδιαίτερα σημαντικό πρόβλημα που αφορά στη μεθοδολογία των εύρωστων παραμετρικών σχεδιασμών (RPDM). Συνδυάζοντας την επαναληπτική μέθοδο σίγουρου κρησαρίσματος (iterative sure independence screening, iter-SIS) για την επιλογή των μεταβλητών με μία ποινικοποιημένη μέθοδο, την αποκαλούμενη SCAD, προχωρήσαμε στην ανάλυση των ΥΣ που κατασκευάστηκαν στο παρόν κεφάλαιο. Η προτεινόμενη μεθοδολογία εφαρμόστηκε σε διαφορετικά μοντέλα με σκοπό να γίνει ορατή η αποτελεσματικότητά της σε πολλά διαφορετικά σενάρια, υποθέτοντας τόσο μοντέλα πρώτης όσο και μοντέλα δεύτερης τάξης υπό την έννοια των σχεδιασμών της επιφάνειας απόκρισης. Στο παρόν κεφάλαιο παρουσιάζουμε δύο επεξηγηματικά παραδείγματα καθώς και πολυάριθμα αριθμητικά πειράματα προσομοίωσης για πολλές διαφορετικές περιπτώσεις. Τα αποτελέσματα υποδηλώνουν ότι η προτεινόμενη μέθοδος είναι ιδιαίτερα αποτελεσματική για τον προσδιορισμό των ενεργών επιδράσεων των κύριων παραγόντων, των αλληλεπιδράσεων δύο παραγόντων, των αλληλεπιδράσεων τριών παραγόντων καθώς επίσης και των καθαρά τετραγωνικών όρων, υπό την προϋπόθεση της σποραδικότητας των επιδράσεων. Τα ερευνητικά αποτελέσματα που παρουσιάζονται στο παρόν κεφάλαιο δημοσιεύτηκαν στην επιστημονική εργασία [V]. Η παρουσίαση του ερευνητικού έργου για αυτή τη διατριβή ολοκληρώνεται με το Κεφάλαιο 10, όπου προτείνουμε μια κατασκευή για υπερκορεσμένους split-plot σχεδιασμούς (SSSPD) κατάλληλους για RPD πειράματα. Εφαρμόσαμε τη μεθοδολογία των σύνθετων ορθογώνιων σχηματισμών χρησιμοποιώντας ορθογώνιους σχηματισμούς ισχύος μεγαλύτερης από 1 για τις split-plot μονάδες και ισορροπημένους ΥΣ για όλες τις whole-plot μονάδες. Η προτεινόμενη μεθοδολογία υποδεικνύει ότι τα πειράματα που διεξάγονται υπό το πρίσμα των split-plot σχεδιασμών μπορούν να έχουν τεράστια αξία στη μεθοδολογία των RPD, αφού επιτρέπουν την εκτίμηση των επιδράσεων που μας ενδιαφέρουν με πολύ πιο εύκολο τρόπο από τους σχεδιασμούς που προτάθηκαν από τον Taguchi. Τα ερευνητικά αποτελέσματα που παρουσιάζονται στο παρόν κεφάλαιο δημοσιεύτηκαν στην επιστημονική εργασία [IV]. Η παρουσίαση της διατριβής ολοκληρώνεται με τα τέσσερα Παραρτήματα. Στο Παράρτημα Α παρουσιάζουμε συνοπτικά τα αποτελέσματα που προέκυψαν από το Κεφάλαιο 5. Στο Παράρτημα Β παρουσιάζουμε τα αποτελέσματα των προσομοιώσεων που προέκυψαν από το Κεφάλαιο 6. Στο Παράρτημα Γ παρουσιάζουμε τα αποτελέσματα των προσομοιώσεων που προέκυψαν από το Κεφάλαιο 7 και τέλος στο Παράρτημα Δ δίνουμε την απόδειξη του Λήμματος 1 καθώς επίσης και τα αποτελέσματα των προσομοιώσεων που προέκυψαν από το Κεφάλαιο 9.