Hybrid machine learning and deep learning methodologies for resilient, sustainable and interactive cyberphysical manufacturing systems: joint production, maintenance and quality control optimization

Abstract

Advances in Artificial Intelligence led to the introduction of novel paradigms, e.g., Industry 4.0 and smart manufacturing, that endeavor to digitize processes and operations within production systems, integrated in manufacturing plants. This digital transformation is achieved through the integration of intelligent technologies. Such technologies are the cyberphysical systems, which attempt to create a “bridge” between the computing process and the physical manufacturing environments through their integrated sensor devices. In this regard, they interchange information with the production environment and collect feedback from it. To adapt themselves and carry out decision-making, the cyberphysical systems process that feedback using artificial intelligence methodologies, including machine learning and deep learning. As a result, useful knowledge regarding manufacturing components and aspects, such equipment condition and inventory level, could be extracted in an effort to aid decision-makers in devising effective schedules and plans for manufacturing activities. Toward this end, the present dissertation studies the joint control and planning problem within dynamic production systems that implement cyberphysical systems. The aim is the realization of sustainable, resilient, and interactive cyberphysical manufacturing systems. In this respect, the dissertation proposes a variety of hybrid machine learning and deep learning methodologies. These methodologies are incorporated into decision-making frameworks, which assume the behavior and functionality of cyberphysical systems. Specifically, the frameworks strive to derive optimal, or near optimal joint control policies for production, maintenance, and quality control activities in the context of stochastic and deteriorating production environments, involving single, or multiple processing machines and storage facilities. The behavior of these environments is specifically defined by a number of random events. Among these events, failures deteriorate the condition of the considered systems. The quality of the produced parts is affected as well by the deteriorated system condition. For the optimization of the systems mentioned above, the proposed frameworks are applied and summarized as follows. The first one follows reinforcement learning decision-making for the joint optimization of manufacturing, maintenance, and recycling operations in a single-stage production/inventory system, which produces and stockpiles a single-type of products. Afterwards, the behavior and functionality of this framework is expanded for the joint control of alternative production environments. In this respect, hybrid reinforcement learning methodologies are introduced to optimize circular manufacturing systems. In contrast to other production systems, the circular ones attempt to produce new products by reusing low-quality, or returned ones in an effort to reduce the generation of waste. Given that, the proposed methodologies involve either one, or two reinforcement learning agents to formulate strategies for the processing machines included in the studied systems. Their decision-making integrates well-known ad-hoc control policies. The incorporated policies include pull production policies, e.g., Kanban, and condition-based maintenance. The aim of this implementation is the minimization of redundant costs related with unsold items and unnecessary authorization of activities. Due to its promising performance, the two-agent hybrid reinforcement learning approach is also applied for addressing sustainable manufacturing. Within this context, green and sustainable practices are considered for reforming low-quality material. Lastly, the dissertation proposes a deep learning methodology, which involves a predictive model. The considered model strives to devise activity authorizations by identify fluctuating aspects of manufacturing systems, e.g., inventory level. The evaluation of the proposed hybrid machine learning and deep learning methodologies is performed through a series of experiments simulating the behavior of the studied manufacturing systems. Findings of this evaluation validate the performance and efficiency of introduced methodologies in terms of cost-efficiency, sustainability, material management, and system resilience.

Οι πρόσφατες εξελίξεις στην τεχνητή νοημοσύνη έχουν οδηγήσει στη διαμόρφωση νέων τεχνολογικών τάσεων, όπως η Βιομηχανία 4.0 και η έξυπνη παραγωγή, που στοχεύουν στον ψηφιακό μετασχηματισμό παραγωγικών διεργασιών και διαδικασιών σε συστήματα παραγωγής, όπως αυτά εντοπίζονται σε βιομηχανίες και εργοστάσια. Αυτός ο μετασχηματισμός επιτυγχάνεται μέσω της ενσωμάτωσης ευφυών τεχνολογιών. Από τις διαθέσιμες τεχνολογίες, τα κυβερνοφυσικά συστήματα ενσωματώνονται συχνά σε συστήματα παραγωγής για την παρακολούθηση και τον έλεγχο δραστηριοτήτων, όπως παραγωγή και συντήρηση. Σκοπός τους είναι η γεφύρωση του χάσματος μεταξύ υπολογιστικών διεργασιών και δυναμικών συστημάτων παραγωγής με τη βοήθεια των αισθητήρων που διαθέτουν. Συγκεκριμένα, επιδιώκουν να προσαρμόζονται και να λαμβάνουν αποφάσεις σύμφωνα με τα δεδομένα που συλλέγουν από την αλληλοεπίδρασή τους με το περιβάλλον παραγωγής. Η επεξεργασία των δεδομένων γίνεται με τη χρήση μεθόδων τεχνητής νοημοσύνης, συμπεριλαμβανομένων αυτών της μηχανικής και βαθιάς μάθησης. Αποτέλεσμα αυτής της επεξεργασίας είναι η δημιουργία γνώσης για στοιχεία των παραγωγικών συστημάτων που επηρεάζουν άμεσα την παραγωγική διαδικασία, όπως η φθορά του εξοπλισμού, η ποιότητα των τελικών προϊόντων, η διαθεσιμότητα του αποθέματος κ.α. Η γνώση αυτή μπορεί να αξιοποιηθεί από τους λήπτες αποφάσεων στα εργοστάσια στην προσπάθειά τους να διαμορφώσουν αποτελεσματικά προγράμματα και στρατηγικές για δραστηριότητες παραγωγής. Η παρούσα διατριβή μελετά το πρόβλημα του συνδυαστικού ελέγχου, σχεδιασμού και προγραμματισμού δραστηριοτήτων παραγωγής, συντήρησης και ελέγχου ποιότητας προϊόντων σε δυναμικά συστήματα παραγωγής, στα οποία ενσωματώνονται κυβερνοφυσικά συστήματα. Σε αυτό το πλαίσιο, προτείνει ένα σύνολο υβριδικών μεθοδολογιών μηχανικής και βαθιάς μάθησης με στόχο την υλοποίηση βιώσιμων, ανθεκτικών και διαδραστικών κυβερνοφυσικών συστημάτων παραγωγής. Η εφαρμογή τους γίνεται σε μηχανισμούς λήψης αποφάσεων, οι οποίοι υιοθετούν τη συμπεριφορά και λειτουργικότητα των κυβερνοφυσικών συστημάτων. Συγκεκριμένα, αυτοί οι μηχανισμοί διερευνούν βέλτιστες ή μη συνδυαστικές πολιτικές ελέγχου για συστήματα παραγωγής με μία ή πολλαπλές μηχανές επεξεργασίας προϊόντων. Τα εν λόγω συστήματα θεωρούνται στοχαστικά και υφίστανται φθορές κατά τη λειτουργία τους. Αυτές οι φθορές επηρεάζουν παράλληλα και την ποιότητα των τελικών προϊόντων. Για τη βελτιστοποίηση των παραπάνω συστημάτων, οι προτεινόμενοι μηχανισμοί συνοψίζονται και εφαρμόζονται ως εξής. Ο πρώτος μηχανισμός ενσωματώνει μια μέθοδο ενισχυτικής μάθησης για τη συνδυαστική βελτιστοποίηση δραστηριοτήτων παραγωγής, συντήρησης και ανακύκλωσης σε ένα σύστημα παραγωγής/αποθέματος, που παράγει και αποθηκεύει ένα είδος προϊόντων. Ύστερα, η συμπεριφορά και λειτουργικότητα του μηχανισμού επεκτείνεται για τον συνδυαστικό έλεγχο εναλλακτικών συστημάτων παραγωγής. Συγκεκριμένα, προτείνονται υβριδικές μεθοδολογίες ενισχυτικής μάθησης για τη βελτιστοποίηση κυκλικών συστημάτων παραγωγής. Σ’ αντίθεση με άλλα συστήματα παραγωγής, τα συγκεκριμένα επιδιώκουν να παράγουν νέα προϊόντα με χρήση υλικού από επιστρεφόμενα ή χαμηλής ποιότητας προϊόντα με στόχο τη σταδιακή μείωση της παραγωγής αποβλήτων. Δεδομένου αυτού, οι προτεινόμενες μεθοδολογίες αξιοποιούν έναν ή δύο πράκτορες ενισχυτικής μάθησης για την ανάπτυξη στρατηγικών που βελτιστοποιούν τα εξεταζόμενα συστήματα. Επιπλέον, για τη λήψη αποφάσεων, ενσωματώνουν και γνωστές παραμετρικές πολιτικές ελέγχου παραγωγής, όπως η Kanban, και συντήρησης. Στόχος αυτής της υλοποίησης είναι η μείωση του περιττού κόστους που σχετίζεται με απούλητα προϊόντα και περιττές εξουσιοδοτήσεις δραστηριοτήτων. Λόγω της αποτελεσματικότητάς της, η προσέγγιση της υβριδικής ενισχυτικής μάθησης με δύο πράκτορες εφαρμόστηκε και για την επίλυση θεμάτων βιώσιμης παραγωγής. Γι’ αυτόν τον σκοπό, εφαρμόστηκαν πράσινες και βιώσιμες πρακτικές για την αναδιαμόρφωση υλικού χαμηλής ποιότητας. Τέλος, η διατριβή προτείνει μια μεθοδολογία βαθιάς μάθησης, η οποία αποτελείται από ένα μοντέλο πρόβλεψης. Το μοντέλο αυτό επιδιώκει την εξουσιοδότηση δραστηριοτήτων μέσω της αναγνώρισης μεταβαλλόμενων πτυχών και στοιχείων των συστημάτων παραγωγής, όπως το διαθέσιμο απόθεμα προϊόντων. Η αξιολόγηση των προτεινόμενων υβριδικών μεθοδολογιών μηχανικής και βαθιάς μάθησης έγινε μέσω πειραμάτων που προσομοίωναν τη συμπεριφορά των εξεταζόμενων συστημάτων παραγωγής. Ευρήματα αυτής της αξιολόγησης επιβεβαιώνουν την απόδοση και αποτελεσματικότητα των προτεινόμενων μεθοδολογιών αναφορικά με τη σχέση κόστους/αποτελεσματικότητας, βιωσιμότητας, διαχείρισης υλικού και ανθεκτικότητας συστημάτων.