Neural network models for system identification, control and fault detection

Abstract

The demand for accurate and reliable system identification, control and fault detection is raising over the past years, due to the increasing complexity and cost of many industrial processes. The proposed research thesis tries to satisfy this requirement and so is devoted to devising system identification, control and fault detection approaches utilizing modern techniques based on neural networks and algorithms of deep learning. A common practice in many industrial applications is the build of mathematical models of dynamical unknown systems and fault diagnosis schemes, based on observed data from sensors attached to system parts. Modern neural networks and deep learning approaches fit with this practice as extractors of features or attributes from raw data, contrary to conventional machine learning (ML) techniques in which manual extraction of features, from prior expertise knowledge, is necessary. Therefore, the dissertation exploits the efficiency of deep learning and modern neural networks to represent complex nonlinear dynamics mappings and presents innovative techniques in system identification, control, and fault detection, enhancing the performance and dealing with confirmed drawbacks and defections. The first part of the dissertation, which is made up of four chapters, provides a literature study on neural networks, on deep learning techniques, on system identification and control and on methods of fault detection. The review equips the reader with the necessary background knowledge, presenting both well-established techniques and recent state of the art algorithms and approaches. So, the first review part of the dissertation assists as a basis, establishing the required knowledge for the reader to understand the motivation of the thesis. Subsequently, the second part of the thesis presents novel methods of system identification and control. So, an innovative fusion neural architecture and the use of a novel Lyapunov theory-based algorithm are proposed in chapter 5, for the online approximation of the dynamics of unknown nonlinear systems. The proposed neural system, in combination with the proposed update rule of the neural weights, achieves fast convergence of the identification process, ensuring at the same time stability of the error system in the sense of Lyapunov theory. The fusion neural system combines the features that are extracted from two independent neural streams, a feed-forward and a diagonal recurrent one, satisfying different design criteria of the identification task. Simulation results are included where we show the superiority of the proposed scheme over competitive state of the art methods. Also, additional experiments demonstratethe effectiveness in cases of parameter variations and additive noise. In the sequel of the second part of the thesis (chapter 6), an Adaptive One-Step Model Predictive Controller is introduced, overcoming the drawbacks of of-line learning in model predictive control systems. Indeed, neural network model predictive control has been widely used in the field of automatic control. However, the off-line training of the neural predictor and the appearance of disturbances and parameter variations, during the control phase, affect the system output by inducing steady state error. To ensure the convergence of the adaptive process, we use Lyapunov stability theory, which guides the updating of the weights of the deep neural network. Likewise, a Lyapunov based algorithm guides the updating of the control signal of the one-step model predictive controller. Simulation results for two cases demonstrate the effectiveness of the presented control scheme. Another common drawback of many closed-loop feedback controllers is the transfer of additive noise and disturbances in the output of the system. So, the last chapter of Part 2 (chapter 7) is devoted to the above problem with the proposition of an artificial neural network controller, for circumstances where noise robustness is a crucial matter. The presented artificial controller has many applications in diverse areas where it is important to keep accurate track of a specified reference output under the presence of noise. The proposed neural controller consists of two parts, an Auto-encoder which transforms the input data in a robust to noise representation and a Recurrent Neural Network, which is trained initially off-line with data taken from conventional controllers and subsequently online in an indirect feedback control scheme. The stability of the overall scheme is guaranteed by using Lyapunov stability arguments, which guide the convergence of the neural weights. The performance of the proposed artificial controller is tested on the control of a dc motor system. The simulation results show a satisfactory reduction of noise in the controlling process and accurate output track, as it is desired. Moving on Part 3, the current thesis contributes on the field of fault diagnosis with the introduction of two deep learning fault detection schemes. At first place in chapter 8, a one-class fault detection scheme for multi-dimensional problems is proposed, based on the unsupervised training of a Generative Adversarial Network. The generator tries to learn the manifold of normal behavior of the process, while the final decision of fault occurrence is taken from the discriminator. The network architectures of the discriminator and the generator and the hyper-parameters, that are used during training, are crucial for the stability of the model during training. To ensure system convergence and to enhance the accuracy of the unsupervised classifier, a model selection algorithm is used. The latter evaluates each candidate generative model on a validation set of the normal training dataset, based on a proposed performance metric which uses the reconstruction cost of an Auto-encoder. Finally, experimental results illustrate the superiority of the proposed system over One-Class SVM, Isolation Forest algorithm and an Autoencoder based algorithm, three state of the art anomaly detection methods, on two simulation cases. In the second chapter of Part 3, the Attentive Dense Convolutional Neural Network is introduced and employed for the problem of bearing fault detection. The latter considers the temporal coherence of the data samples, by the combination of Dense Convolutional blocks with an attention mechanism. In more details, the presented deep learning scheme exploits the ability of a Densely connected Convolutional Neural Network to extract features, belonging to different level of representation. Furthermore, the simple attentive mechanism, which consists of a feed-forward NN followed by a softmax layer, enhances the extracted information with the focus on specific spatial regions of the features and subsequently arranges the temporal coherence with the estimation of a simple weighted average output map. The proposed neural scheme has fewer unknown learning parameters and achieves accurate results with less training data as it appears from simulation cases on two famous rolling bearings fault detection benchmarks.Finally, the contribution, the overall evaluation and the feature research directions are presented in the final concluding section of the thesis.

Η απαίτηση για την ανάπτυξη αξιόπιστων και αποτελεσματικών συστημάτων αναγνώρισης, ελέγχου και ανίχνευσης σφαλμάτων αυξάνεται τα τελευταία χρόνια, λόγω της αυξανόμενης πολυπλοκότητας και του κόστους πολλών βιομηχανικών διεργασιών. Η προτεινόμενη ερευνητική εργασία προσπαθεί να ικανοποιήσει αυτήν την απαίτηση και έτσι είναι αφιερωμένη στη δημιουργία καινοτόμων συστημάτων αναγνώρισης, ελέγχου και ανίχνευσης βλαβών χρησιμοποιώντας σύγχρονες τεχνικές που βασίζονται σε νευρωνικά δίκτυα και αλγορίθμους βαθιάς μάθησης. Μια συνηθισμένη πρακτική σε πολλές βιομηχανικές εφαρμογές είναι η μοντελοποίηση δυναμικών άγνωστων συστημάτων και η δημιουργία συστημάτων διάγνωσης σφαλμάτων, με βάση δεδομένα που ανακτώνται από αισθητήρες που συνδέονται με τμήματα του συστήματος. Τα σύγχρονα νευρωνικά δίκτυα και οι τεχνικές βαθιάς μάθησης ταιριάζουν με αυτή την πρακτική ως αυτοματοποιημένοι εξαγωγείς χαρακτηριστικών από ανεπεξέργαστα δεδομένα, σε αντίθεση με τις συμβατικές τεχνικές μηχανικής μάθησης, στις οποίες η εξαγωγή χαρακτηριστικών στηρίζεται σε προηγούμενη γνώση και εμπειρία εμπειρογνωμόνων. Ως εκ τούτου, η διατριβή εκμεταλλεύεται την αποτελεσματικότητα των συστημάτων βαθιάς μάθησης στην αναπαράσταση σύνθετων μη γραμμικών δυναμικών απεικονίσεων και παρουσιάζει καινοτόμες τεχνικές για τον εντοπισμό, τον έλεγχο και την ανίχνευση βλαβών, αποσκοπώντας στην ενίσχυση της απόδοσης και στην αντιμετώπιση των επιβεβαιωμένων μειονεκτημάτων και αποτυχιών. Το πρώτο μέρος της διατριβής, που αποτελείται από τέσσερα κεφάλαια, παρέχει μια βιβλιογραφική μελέτη σχετικά με τα νευρωνικά δίκτυα, τις τεχνικές βαθιάς μάθησης, τις τεχνικές αναγνώρισης και ελέγχου συστημάτων και τις μεθόδους ανίχνευσης βλαβών. Η ανασκόπηση παρέχει στον αναγνώστη τις απαραίτητες γνώσεις σχετικά με το απαιτούμενο υπόβαθρο, παρουσιάζοντας τόσο τις καθιερωμένες τεχνικές όσο και πρόσφατους αλγόριθμους και προσεγγίσεις. Έτσι, το πρώτο μέρος της διατριβής αποτελούμενο από τα 4 πρώτα κεφάλαια βοηθά ως βάση, εφοδιάζοντας τον αναγνώστη με την απαιτούμενη γνώση για να κατανοήσει το κίνητρο της διατριβής. Στη συνέχεια, στο δεύτερο μέρος της εργασίας παρουσιάζονται καινοτόμες μέθοδοι μοντελοποίησης και ελέγχου συστημάτων. Έτσι, στο κεφάλαιο 5 προτείνεται μια καινοτόμος αρχιτεκτονική συγχώνευσης δύο νευρωνικών ροών και η χρήση ενός νέου αλγορίθμου με βάση τη θεωρία Lyapunov, για την on-line προσέγγιση άγνωστων μη γραμμικών δυναμικών συστημάτων. Το προτεινόμενο νευρωνικό δίκτυο, σε συνδυασμό με τον προτεινόμενο κανόνα ανανέωσης των νευρωνικών βαρών, επιτυγχάνει γρήγορη σύγκλιση της διαδικασίας αναγνώρισης, εξασφαλίζοντας παράλληλα τη σταθερότητα του συστήματος σύμφωνα με τη θεωρία Lyapunov. Η διαδικασία συγχώνευσης του νευρωνικού δικτύου συνδυάζει τα χαρακτηριστικά που εξάγονται από δύο ανεξάρτητες νευρωνικές ροές, ενός νευρωνικού δικτύου προσωτροφοδότησης και ενός διαγώνιου νευρωνικού δικτύου ανάδρασης, ικανοποιώντας διαφορετικά κριτήρια σχεδιασμού της διαδικασίας μοντελοποίησης. Τα αποτελέσματα προσομοίωσης συμπεριλαμβάνονται και δείχνουν την ανωτερότητα του προτεινόμενου συστήματος έναντι πρόσφατων ανταγωνιστικών μεθόδων. Επίσης, επιπρόσθετα πειράματα καταδεικνύουν την αποτελεσματικότητα σε περιπτώσεις παραλλαγής των παραμέτρων του άγνωστου συστήματος αλλά και κατά την εμφάνιση θορύβου. Στη συνέχεια του δεύτερου μέρους της εργασίας, στο κεφάλαιο 6 παρουσιάζεται ένας Προσαρμοστικός Προβλεπτικός Ελεγκτής ενός βήματος (Adaptive One-Step Model Predictive Controller). Βασική επιδίωξη της προτεινόμενης προσέγγισης ελέγχου είναι η αποφυγή των μειονεκτημάτων των προβλεπτικών ελεγκτών όταν η εκπαίδευση τους γίνεται μόνο εκτός σύνδεσης (off-line). Πράγματι, η εκτός σύνδεση εκπαίδευση του νευρωνικού προγνωστικού ελεγκτή επηρεάζει την έξοδο του συστήματος, προκαλώντας σφάλμα σταθερής κατάστασης σε καταστάσεις παραλλαγής των παραμέτρων του συστήματος ή παρουσίας θορύβου. Για να εξασφαλιστεί η σύγκλιση της προσαρμοστικής διαδικασίας, χρησιμοποιούμε τη θεωρία της ευστάθειας κατά Lyapunov, η οποία καθοδηγεί την ενημέρωση των βαρών του νευρωνικού δικτύου. Παρομοίως, ένας αλγόριθμος με βάση τη θεωρία Lyapunov καθοδηγεί την ενημέρωση του σήματος ελέγχου του προσαρμοστικού προβλεπτικού ελεγκτή ενός βήματος. Τα αποτελέσματα προσομοίωσης για δύο περιπτώσεις καταδεικνύουν την αποτελεσματικότητα του παρουσιαζόμενου συστήματος ελέγχου. Ένα μειονέκτημα πολλών ελεγκτών ανάδρασης κλειστού βρόχου είναι η μεταφορά θορύβου και διαταραχών στην έξοδο του συστήματος. Tο τελευταίο κεφάλαιο του δεύτερου μέρους (κεφ. 7) αφιερώνεται στην αντιμετώπιση του παραπάνω προβλήματος με την πρόταση ενός ελεγκτή τεχνητού νευρωνικού δικτύου, για περιπτώσεις όπου η ευρωστία στην παρουσία εξωτερικού θορύβου σε μέρη του συστήματος είναι ένα κρίσιμο ζήτημα και κατά τις οποίες απαιτείται η έξοδος του τελευταίου να ακολουθεί με ακρίβεια μια συγκεκριμένη τροχιά αναφοράς. Ο νευρωνικός ελεγκτής αποτελείται από δύο μέρη: έναν αυτόματο κωδικοποιητή (Auto-encoder) ο οποίος αποσκοπεί στην απεικόνιση των δεδομένων εισόδου σε μια εύρωστη από το θόρυβο αναπαράσταση και ένα νευρωνικό δίκτυο ανάδρασης το οποίο εκπαιδεύεται αρχικά εκτός λειτουργίας (off-line) με δεδομένα που λαμβάνονται από συμβατικούς ελεγκτές και στη συνέχεια, κατά την διαδικασία ελέγχου, με χρήση της αρχιτεκτονικής ελέγχου έμμεσης ανάδρασης. Η ευστάθεια του ελεγκτή διασφαλίζεται με τη χρήση κριτηρίων ευστάθειας κατά Lyapunov, τα οποία καθοδηγούν τη σύγκλιση των νευρωνικών βαρών κατά την ανανέωση τους. Η απόδοση του προτεινόμενου τεχνητού ελεγκτή ελέγχεται με την προσωμοίωση της εφαρμογής ελέγχου ενός ηλεκτρικού κινητήρα συνεχούς ρεύματος. Τα αποτελέσματα προσομοίωσης δείχνουν ικανοποιητική μείωση του θορύβου στη διαδικασία ελέγχου και ακριβή τροχιά εξόδου, όπως είναι επιθυμητό. Προχωρώντας στο τρίτο μέρος, η διατριβή συμβάλλει στο πεδίο της διάγνωσης σφαλμάτων προτείνοντας δύο νευρωνικά μοντέλα βαθιάς μάθησης για το συγκεκριμένο πρόβλημα. Αρχικά, ένα σύστημα αυτόματης διάγνωσης σφαλμάτων παρουσιάζεται στο κεφάλαιο 8 με βάση τη μη επιβλεπόμενη εκπαίδευση ενός ανταγωνιστικού δικτύου παραγωγής (Generative Adversarial Network, GAN). Είναι σημαντικό να αναφερθεί πως κατά την διαδικασία εκπαίδευσης του προτεινομένου δικτύου διάγνωσης χρησιμοποιούνται μόνο δεδομένα που αντιστοιχούν στην κανονική κατάσταση λειτουργίας του συστήματος. Το νευρωνικό δίκτυο παραγωγής του GAN μοντέλου (Generator) μαθαίνει την κατανομή των δεδομένων κανονικής λειτουργίας, ενώ το νευρωνικό δίκτυο απόφασης (Discriminator) λαμβάνει την τελική απόφαση που αφορά την εμφάνιση σφαλμάτων στο σύστημα. Οι αρχιτεκτονικές των νευρωνικών δικτύων παραγωγής και απόφασης και οι υπέρ-παράμετροι που χρησιμοποιούνται κατά τη διάρκεια της εκπαίδευσης παίζουν σημαντικό ρόλο στην αποτελεσματικότητα αλλά και στην σταθερότητα του μοντέλου GAN. Με στόχο τη διασφάλιση της σύγκλισης και τη βελτίωση της ακρίβειας του μη επιτηρούμενου διαγνώστη σφαλμάτων, αναπτύχθηκε ένας ευριστικός αλγόριθμος επιλογής μοντέλου. Ο τελευταίος αξιολογεί κάθε υποψήφιο ανταγωνιστικό μοντέλο χρησιμοποιώντας ένα σύνολο δεδομένων επικύρωσης που αποτελείται μόνο από δεδομένα κανονικής λειτουργίας του συστήματος. Για να επιτευχθεί η εκτίμηση της αποτελεσματικότητας του νευρωνικού δικτύου παραγωγής, ένα κριτήριο αξιολόγησης χρησιμοποιείται το όποιο βασίζεται στο κόστος ανακατασκευής ενός αυτόματου κωδικοποιητή (Auto-Encoder). Τέλος, τα πειραματικά αποτελέσματα υποδεικνύουν την υπερίσχυση στην ανίχνευση ανωμαλιών του προτεινόμενου συστήματος μη επιτηρούμενης αυτόματης διάγνωσης έναντι τριών σύγχρονων ανταγωνιστικών μεθόδων, ενός αλγορίθμου Μηχανής Διανυσματικής Υποστήριξης μίας κλάσης (One-Class Support Vector Machines), ενός αλγόριθμου απομόνωσης δάσους (Isolation Forest Algorithm) και ενός αλγόριθμου με βάση τους αυτόματους κωδικοποιητές (Auto-Enocoder). Στο δεύτερο κεφάλαιο του τρίτου μέρους (κεφ. 8), παρουσιάζεται το Αντιληπτικό Πυκνό Συνελικτικό Νευρωνικό Δίκτυο (Attentive Dense Convolutional Neural Network) το οποίο και χρησιμοποιείται στο πρόβλημα της ανίχνευσης βλάβων σε έδρανα (ρουλεμάν) μηχανών. Το προτεινόμενο μοντέλο αποσκοπεί στην εξαγωγή της χρονικής συσχέτισης διαδοχικών δειγμάτων εισόδου, συνδυάζοντας ένα πυκνό συνελικτικό νευρωνικό δίκτυο με ένα αντιληπτικό μηχανισμό (attention mechanism). Πιο συγκεκριμένα, το μοντέλο βαθιάς εκμάθησης εκμεταλλεύεται την ικανότητα του πυκνά συνδεδεμένου Νευρωνικού Δικτύου Συνέλιξης να εξάγει χαρακτηριστικά που ανήκουν σε διαφορετικά επίπεδα αναπαράστασης. Επιπρόσθετα, ο απλός αντιληπτικός μηχανισμός, ο οποίος αποτελείται από ένα προσώ-τροφοδοτούμενο Νευρωνικό Δίκτυο ακολουθούμενο από ένα στρώμα softmax, ενισχύει τις εξαγόμενες πληροφορίες δίνοντας έμφαση σε συγκεκριμένες χωρικές περιοχές των χαρακτηριστικών και στη συνέχεια ρυθμίζει τη χρονική συνοχή των δειγμάτων με τον υπολογισμό ενός απλού σταθμισμένου μέσου όρου τους. Το προτεινόμενο νευρωνικό σχήμα έχει λιγότερες άγνωστες παραμέτρους εκμάθησης και επιτυγχάνει ακριβή αποτελέσματα με λιγότερα δεδομένα εκπαίδευσης, όπως φαίνεται και από τα πειράματα προσομοίωσης σε δύο περιπτώσεις. Τελικά, η συμβολή, η συνολική αξιολόγηση και οι κατευθυντήριες μελλοντικές γραμμές έρευνας παρουσιάζονται στο τελικό κεφάλαιο της διατριβής.