Σχεδιασμός, βελτιστοποίηση και εφαρμογή αλγορίθμων machine learning και deep learning, με δυνατότητα αυτόματης εκτέλεσης διασταυρούμενης επικύρωσης και ανανέωσης βάσει των διατηρούμενων συνόλων πολυδιάστατων και σύνθετων δεδομένων

Abstract

This thesis covers pioneering research at the intersection of the research fields of machine learning and time series forecasting, with application to real industrial process data. The term "time series" refers to a sequence or stream of data that is time-dependent, with temporal correlation being fundamental. Such time series are ubiquitous in our environment and everyday life. The importance of these data derives precisely from their temporal correlation. Of particular interest is the case of correlation between different multidimensional time series. Machine learning is an important factor in the latest developments to address the challenges of extracting useful information from time series data. At the same time, research impact increases when there is a parallel financial benefit for industrial actors. Our approach to data processing and analysis includes preprocessing the raw data, training a machine learning model on the preprocessed data to predict or categorize desired variables, visualizing the results in time series for temporal analysis, and applying explainable artificial intelligence to better understand the models and their predictions. The thesis concerns the analysis of problems that appear at various stages of the production process in the industrial sector and for which Machine Learning methods have not yet been applied. In these cases we implement the proposed integrated artificial intelligence framework which covers both classification and regression problems. A specific aim of the work is the design and optimization of mathematical Machine Learning models, with a special emphasis on multi-layer neural network models applied to multi-dimensional and complex real data in various industrial sectors, such as agriculture, shipping and financial industries. Our goal is to improve these methods and develop new ones based on the challenges and limitations arising from the nature of the data. The thesis focuses on predicting future events and behaviors, enabling businesses to conduct analysis to predict the impact of potential changes to their business strategies.Specifically, we focus on both practical and theoretical aspects of machine learning methods when dealing with time series data mining and management. Our research goals are driven by three common "gaps" in the application of Machine Learning methods and time series, such as the continuous optimization of Machine Learning models (and as a result, their results) the improvement of model results due to the use of surrogate data that they enrich the data set and contribute to a better generalization of the proposed model and an optimal selection of different models. The data areas covered in this project cover shipping, food safety and banking. Regarding the first area, the research focused on the problem of predictive maintenance of the main engines of merchant ships. From the field of food safety and text analysis focused on predicting food recall events from small text stream data as well as inferring the correlation of environmental conditions with meat quality. Finally, in the financial sector, we studied the forecast of cash flows in Small and Medium Enterprises (SMEs) based on historical transaction data. One of our first is a comprehensive investigation of the actuals, where we identified problem investigations.Ships, like other types of "equipment", in their factory settings, are equipped with sensors so that they can collect information about the overall operation of the particular sector - in this case, the marine industry and the condition of its equipment - and more specifically in the case of ships/vessels. These sensors provide data streams that can be analyzed in real time through Artificial Intelligence techniques and collect information about possible errors in the machines, this is precisely the first pillar of our scientific contributions. This information is exploited to drive decisions such as ordering spare parts or changing ports of destination to replace parts that will not fail. The second trade-off in a comprehensive, data-driven predictive maintenance approach. In this work, we present an approach for detecting anomalies in time series data by leveraging Machine Learning technique on sensory data. of the ship, to predict the condition of specific parts of the ship's main engine so that predictive maintenance is possible. The presented approach incorporates both several models that have been analyzed and applied to address the challenge of predictive maintenance in the shipping industry, and a collection of these models to gather clearer information on predictive maintenance outcomes. The second important contribution of this research concerns the analysis and prediction of information about potentially unsafe goods and products. This information is leveraged to drive decision-making, such as which products are most likely to be harmful soon, and then optimize the food supply chain. To address this, we introduce a deep learning approach leveraging Natural Language Processing and Time Series Prediction Techniques to monitor and analyze the risk associated with each food product category and the corresponding potential recalls. Furthermore, we propose a technique that exploits reinforcement learning to use historical recall announcements of food products to predict their future recalls, thus providing information to food companies about upcoming trends in food recalls that can lead to timely recalls. We also evaluate and demonstrate the effectiveness and added value of the proposed approaches through a real scenario that gives promising results. While several techniques/models have been analyzed and applied to address the challenge of food recall predictions, the use of analog/surrogate data has also been studied and evaluated for more accurate results. Parallel to food safety, a real scenario that shows the added value of using the various data collected is that of the unwanted taste and smell that can be present in boar meat, also known as "boar taint". Using this information, pig farmers can gain insights into how they need to adjust their management to reduce boar infestation. This study examines multiple data-driven predictive approaches combined with explainable artificial intelligence (XAI) methods, evaluating them against various explainable metrics while trying to generate useful insights and suggestions. Specifically, in this approach, the considered use case was modeled as a binary classification task resulting in a highly unbalanced data set. With this approach, some functional characteristics related to farm/stall and abattoir conditions have been derived, such as type of feed, type of ventilation system, medication, type of floor and length of time in storage. Our third scientific addition touches on the banking industry and more specifically Small and Medium Enterprises (SMEs) which face a complex and challenging environment, as in most areas they are lagging behind in their digital transformation. Banks, maintaining a variety of data of their SME customers to perform their core activities, could offer a solution using all available data to provide their customers with a Business Financial Management (BFM) toolkit, providing value-added services. core activity. Despite the success of deep learning in many areas, the design of such models is based on the process of trial and error. A rigorous mathematical theory of overparameterized models is still lacking. Towards this end, the present work revolves around the development of an intelligent, highly personalized hybrid transaction categorization model, interfaced with a cash flow forecasting model based on recurrent neural networks (RNNs). As transaction classification is of great importance, this research is extended to explainable artificial intelligence, where the LIME and SHAP frameworks are used to interpret and visualize ML classification results. Our approach shows promising results in a real-world banking use case and serves as the foundation for the development of further BFM banking microservices such as transaction fraud detection and budget monitoring. This scientific work is a step towards more reliable and effective machine learning methods for real industry problems mainly using time series data. Therefore, an innovative XAI model for time series has been integrated into the proposed framework of the thesis. We hope that our findings will motivate future researchers and use serve as tools for engineers in high-impact industrial applications.

Η παρούσα διατριβή καλύπτει πρωτοποριακή έρευνα στην τομή των ερευνητικών πεδίων της μηχανικής μάθησης και της πρόβλεψης χρονοσειρών, με εφαρμογή σε πραγματικά δεδομένα βιομηχανικών διαδικασιών. Ο όρος "χρονοσειρά" αναφέρεται σε μια ακολουθία ή ροή δεδομένων που είναι χρονικά εξαρτημένη, με τη χρονική συσχέτιση να είναι θεμελιώδης. Τέτοιου είδους χρονοσειρές είναι πανταχού παρούσες στο περιβάλλον και στην καθημερινότητά μας. Η σημασία αυτών των δεδομένων απορρέει ακριβώς από την χρονική τους συσχέτιση. Ιδιαίτερο ενδιαφέρον υπάρχει στην περίπτωση της συσχέτισης μεταξύ διαφορετικών χρονοσειρών πολλών διαστάσεων. Η μηχανική μάθηση αποτελεί σημαντικό παράγοντα στις πιο πρόσφατες εξελίξεις για την αντιμετώπιση των προκλήσεων που συνεπάγεται η εξαγωγή χρήσιμων πληροφοριών από δεδομένα χρονοσειρών. Ταυτόχρονα, η ερευνητική επίδραση αυξάνεται όταν υπάρχει παράλληλο οικονομικό όφελος για τους βιομηχανικούς φορείς. Η προσέγγιση μας για την επεξεργασία και ανάλυση δεδομένων περιλαμβάνει την προεπεξεργασία των ακατέργαστων δεδομένων, την εκπαίδευση ενός μοντέλου μηχανικής μάθησης στα προεπεξεργασμένα δεδομένα για την πρόβλεψη ή κατηγοριοποίηση επιθυμητών μεταβλητών, την απεικόνιση των αποτελεσμάτων σε χρονοσειρές για χρονική ανάλυση, και την εφαρμογή της επεξηγήσιμης τεχνητής νοημοσύνης για καλύτερη κατανόηση των μοντέλων και των προβλέψεων τους. Η διατριβή αφορά την ανάλυση προβλημάτων που εμφανίζονται σε διάφορα στάδια της παραγωγικής διαδικασίας στον βιομηχανικό τομέα και για τα οποία δεν έχουν ακόμη εφαρμοστεί μέθοδοι Μηχανικής Μάθησης. Σε αυτές τις περιτπώσεις υλοποιούμε το προτεινόμενο ολοκληρωμένο πλαίσιο τεχνητής νοημοσύνης το οποίο καλύπτει τόσο προβλήματα κατηγοριοποίησης όσο και παλινδρόμησης. Ένας ειδικός στόχος της εργασίας είναι ο σχεδιασμός και η βελτιστοποίηση μαθηματικών μοντέλων Μηχανικής Μάθησης, με ιδιαίτερη έμφαση σε μοντέλα νευρωνικών δικτύων πολλαπλών επιπέδων που εφαρμόζονται σε πολυδιάστατα και πολύπλοκα πραγματικά δεδομένα σε διάφορους βιομηχανικούς τομείς, όπως την αγροτική, την ναυτιλιακή και τη χρηματοπιστωτική βιομηχανία. Στόχος μας είναι να βελτιώσουμε αυτές τις μεθόδους και να αναπτύξουμε νέες με βάση τις προκλήσεις και τους περιορισμούς που προκύπτουν από τη φύση των δεδομένων. Η διατριβή επικεντρώνεται στην πρόβλεψη μελλοντικών γεγονότων και συμπεριφορών, επιτρέποντας στις επιχειρήσεις να διεξάγουν αναλύσεις για την πρόβλεψη των επιπτώσεων των πιθανών αλλαγών στις επιχειρηματικές στρατηγικές τους. Συγκεκριμένα η διατριβή στοχεύει στην δημιουργία και εφαρμογή προηγμένων αλγόριθμων ανάλυσης δεδομένων γενικότερα, παρέχοντας τη δυνατότητα οπτικής απεικόνισης αυτών με σκοπό την καλύτερη και βαθύτερη κατανόηση των προβλημάτων, ενώ παράλληλα μοντέλα προβλέψεων βασισμένα σε τεχνολογίες Μηχανικής Μάθησης προτείνονται με σκοπό την βέλτιστη λήψη αποφάσεων. Οι τεχνικές Μηχανικής Μάθησης καθώς και τεχνικές πρότυπης μοντελοποίησης θα είναι σε θέση να διαχειριστούν τον κύκλο ζωής της προετοιμασίας, της εξερεύνησης και της ανάλυσης δεδομένων, για την επίτευξη καλύτερης απόδοσης και παρακολούθησης του επιλυόμενου προβλήματος. Αναλυτικότερα, εστιάζουμε τόσο σε πρακτικές όσο και σε θεωρητικές πτυχές των μεθόδων Μηχανικής Μάθησης για την εξόρυξη και διαχείριση δεδομένων χρονοσειρών. Οι ερευνητικοί μας στόχοι καθοδηγούνται από τρείς προκλήσεις στην εφαρμογή μεθόδων Μηχανικής Μάθησης (και κυρίως των σχετικών με τις χρονοσειρές) σε πραγματικές συνθήκες όπως η συνεχής βελτιστοποίηση των μοντέλων Μηχανικής Μάθησης (ακρίβεια, χρόνος εκτέλεσης κ.α.) την βελτίωση των αποτελεσμάτων του μοντέλου λόγω της χρήσης υποκατάστατων δεδομένων που εμπλουτίζουν το σύνολο δεδομένων και συμβάλλουν στην καλύτερη γενίκευση του προτεινόμενου μοντέλου και τη βέλτιστη επιλογή διαφορετικών μοντέλων. Τα δεδομένα που χρησιμοποιήθηκαν σε αυτή τη διατριβή προέρχονται από 3 τομείς της πραγματικής οικονομίας τη ναυτιλία, την ασφάλεια τροφίμων και τον τραπεζικό τομέα. Όσον αφορά τον πρώτο τομέα, η έρευνα επικεντρώθηκε στο πρόβλημα της προβλεπτικής συντήρησης των κύριων μηχανών εμπορικών πλοίων. Από τον τομέα της ασφάλειας τροφίμων και ανάλυσης κειμένου επικεντρώθηκε στη πρόβλεψη συμβάντων ανάκληση τροφίμων από δεδομένα ροής μικρών κειμένων καθώς και την εξαγωγή συμπερασμάτων για την συσχέτιση περιβαλλοντικών συνθηκών με την ποιότητα του κρέατος των χοίρων. Τέλος στον χρηματοοικονομικό/τραπεζικό τομέα μελετήσαμε την πρόβλεψή ροών χρήματος σε Μικρομεσαίες Επιχειρήσεις (ΜΜΕ) βασισμένες σε ιστορικά δεδομένα συναλλαγών. Μία από τις πρώτες συνεισφορές μας είναι μια ολοκληρωμένη διερεύνηση των προαναφερθέντων πραγματικών προβλημάτων, όπου εντοπίσαμε ερευνητικές ευκαιρίες. Τα πλοία, παρόμοια με άλλους τύπους ‘’εξοπλισμού’’ είναι εφοδιασμένα με αισθητήρες ώστε να μπορούν να συλλέγουν πληροφορίες για την συνολική λειτουργία των μηχανικών και ηλεκτρικών μερών τους. Οι αισθητήρες αυτοί παρέχουν ροές δεδομένων που μπορούν να αναλυθούν σε πραγματικό χρόνο μέσω τεχνικών Μηχανικής Μάθησης και να συλλέγουν πληροφορίες για πιθανά σφάλματα στις κύριες μηχανές ή σε άλλα μέρη των πλοίων, αυτό ακριβώς αποτελεί και τον πρώτο πυλώνας των επιστημονικών μας συνεισφορών. Οι πληροφορίες αυτές μπορούν να χρησιμοποιηθούν ώστε να διευκολύνουν ή να βελτιώσουν αποφάσεις, όπως την παραγγελία ανταλλακτικών ή την αλλαγή προορισμού σε λιμάνια για την αντικατάσταση εξαρτημάτων που αναμένεται να χαλάσουν. Όλα τα παραπάνω μπορούμε να τα συνοψίσουμε ως μια συνολική προσέγγιση προβλεπτικής συντήρησης που οδηγείται από τα δεδομένα. Στην εργασία αυτή, παρουσιάζουμε μια προσέγγιση για τον εντοπισμό ανωμαλιών σε δεδομένα χρονοσειρών, εφαρμόζοντας τεχνικές Μηχανικής Μάθησης στα δεδομένα των αισθητήρων του πλοίου, με σκοπό την έγκαιρη εκτίμηση της κατάστασης συγκεκριμένων μερών της κύριας μηχανής του πλοίου έτσι ώστε η προβλεπτική συντήρηση να καταστεί δυνατή. Η προτεινόμενη προσέγγιση ενσωματώνει αρκετά μοντέλα που έχουν αναλυθεί και εφαρμοστεί στο πλαίσιο της προβλεπτικής συντήρησης στον ναυτιλιακό κλάδο, σε μια συλλογή μοντέλων για να συλλεχθούν σαφέστερες πληροφορίες για τα αποτελέσματα και την δυνατότητα εφαρμογής προβλεπτικής συντήρησης. Η δεύτερη σημαντική συμβολή αυτής της έρευνας αφορά την ανάλυση και πρόβλεψη πληροφοριών σχετικά με πιθανά μη ασφαλή διατροφικά αγαθά και προϊόντα. Αυτές οι πληροφορίες αξιοποιούνται για να οδηγήσουν στη λήψη αποφάσεων αναφορικά με το ποια προϊόντα είναι πιο πιθανό να είναι επιβλαβή στο εγγύς μέλλον και στη συνέχεια να βελτιστοποιήσουν την αλυσίδα εφοδιασμού τροφίμων. Στο πλαίσιο της διατριβής, εισάγουμε μια προσέγγιση Βαθιάς Μάθησης αξιοποιώντας τεχνικές επεξεργασίας φυσικής γλώσσας και πρόβλεψης χρονοσειρών, για την παρακολούθηση και την ανάλυση του κινδύνου που σχετίζεται με κάθε κατηγορία προϊόντων διατροφής και τις αντίστοιχες πιθανές ανακλήσεις. Επιπλέον, προτείνουμε μια τεχνική που εκμεταλλεύεται την μεθοδολογία της Ενισχυτικής Μάθησης αξιοποιώντας ιστορικά δεδομένων ανακοινώσεων ανάκλησης προϊόντων τροφίμων για την πρόβλεψη των μελλοντικών ανακλήσεων τους. Με τον τρόπο αυτο παρέχονται πληροφορίες στις εταιρείες τροφίμων σχετικά με τις επερχόμενες τάσεις στις ανακλήσεις τροφίμων που μπορούν να οδηγήσουν σε αυξημένο ποιοτικό έλεγχο και επιτήρηση για έγκαιρες ανακλήσεις. Αξιολογούμε επίσης και αποδεικνύουμε την αποτελεσματικότητα και την προστιθέμενη αξία των προτεινόμενων προσεγγίσεων μέσω ενός πραγματικού σεναρίου με υποσχόμενα αποτελέσματα. Επιπροσθέτως, εξετάζεται στο υπόψη πραγματικό σενάριο η χρήση ανάλογων/υποκατάστατων δεδομένων ως μέθοδος επαύξησης του συνόλου δεδομένων για πιο ακριβή αποτελέσματα με θετικά αποτελέσματα. Παράλληλα σχετικά με την ασφάλεια τροφίμων, ένα δεύτερο πραγματικό σενάριο το οποίο εξετάστηκε στο πλαίσιο της διατριβής και δείχνει την προστιθέμενη αξία της χρήσης των διαφόρων δεδομένων που συλλέγονται είναι αυτό της ανεπιθύμητης γεύσης και οσμής που μπορεί να υπάρχει στο κρέας των κάπρων, όταν μαγειρεύεται το χοιρινό, προκαλώντας το δυσάρεστο άρωμα, τεχνικά γνωστό ως κηλίδωση κάπρου. Αξίζει να σημειωθεί ότι φυσικές δυσάρεστες οσμές δεν δημιουργούν πρόβλημα ασφάλειας των τροφίμων, αλλά αποτελούν απειλή για την εμπειρία φαγητού/μαγειρικής και απαγορεύεται από τους κανονισμούς για την ποιότητα των τροφίμων στις περισσότερες χώρες. Χρησιμοποιώντας τα συμπεράσματα της εν λόγω μελέτης, που συγκαταλέγονται στα αποτελέσματα της διατριβής, οι χοιροτρόφοι μπορούν να αποκτήσουν γνώσεις σχετικά με τον τρόπο με τον οποίο πρέπει να προσαρμόσουν τη διαχείρισή των κάπρων για να μειώσουν τη κηλίδωση τους. Συγκεκριμένα, αυτή η μελέτη εξετάζει πολλαπλές προγνωστικές προσεγγίσεις που βασίζονται σε δεδομένα σε συνδυασμό με μεθόδους εξηγήσιμης τεχνητής νοημοσύνης, αξιολογώντας τις σε σχέση με διάφορες εξηγήσιμες μετρήσεις, καταλήγοντας σε χρήσιμα συμπεράσματα, πληροφορίες και συγκεκριμένες προτάσεις. Αναλυτικότερα, σε αυτήν την προσέγγιση, η εξεταζόμενη περίπτωση χρήσης μοντελοποιήθηκε ως δυαδική εργασία ταξινόμησης με αποτέλεσμα ένα εξαιρετικά ανισόρροπο σύνολο δεδομένων. Με αυτήν την προσέγγιση, έχουν προκύψει ορισμένα λειτουργικά χαρακτηριστικά τα οποία φαίνεται να συσχετίζονται με την κηλίδωση των κάπρων και αφορούν τις συνθήκες του αγροκτήματος/στάβλου και του σφαγείου, όπως ο τύπος της τροφής, ο τύπος του συστήματος εξαερισμού, η φαρμακευτική αγωγή, ο τύπος δαπέδου και η διάρκεια της αναμονής στο χώρο αποθήκευσης. Η τρίτη επιστημονική μας προσθήκη αφορά τον τραπεζικό κλάδο και πιο συγκεκριμένα τις Μικρομεσαίες Επιχειρήσεις (ΜΜΕ) οι οποίες αντιμετωπίζουν ένα περίπλοκο και προκλητικό περιβάλλον, καθώς στους περισσότερους τομείς υστερούν στον ψηφιακό μετασχηματισμό τους. Οι τράπεζες, διατηρώντας μια ποικιλία δεδομένων των ΜΜΕ-πελατών τους για την εκτέλεση των βασικών τους δραστηριοτήτων, θα μπορούσαν να προσφέρουν επιπλέον μια λύση χρησιμοποιώντας όλα τα διαθέσιμα δεδομένα για να παρέχουν στους πελάτες τους μια εργαλειοθήκη Οικονομικής Διοίκησης Επιχειρήσεων (ΟΔΕ), παρέχοντας ψηφιακές υπηρεσίες προστιθέμενης αξίας βασισμένες στην μηχανική μάθηση. Παρά την επιτυχία της Βαθιάς Μάθησης σε πολλούς τομείς, ο σχεδιασμός τέτοιων μοντέλων βασίζεται στη διαδικασία της δοκιμής και του λάθους. Μια αυστηρή μαθηματική θεωρία υπερπαραμετροποιημένων μοντέλων η οποία να καλύπτει όλα τις περιπτώσεις εφαρμογής εξακολουθεί να λείπει. Προς αυτή την κατεύθυνση, η παρούσα εργασία περιστρέφεται γύρω από την ανάπτυξη ενός έξυπνου, εξατομικευμένου υβριδικού μοντέλου κατηγοριοποίησης συναλλαγών, διασυνδεδεμένου με ένα μοντέλο πρόβλεψης ταμειακών ροών που βασίζεται σε επαναλαμβανόμενα νευρωνικά δίκτυα Βαθιάς Μάθησης. Καθώς η ταξινόμηση των συναλλαγών είναι μεγάλης σημασίας, αυτή η έρευνα επεκτείνεται προς επεξηγήσιμη τεχνητή νοημοσύνη, όπου τα εργαλεία /μέθοδοι LIME και SHAP χρησιμοποιούνται για την ερμηνεία και την απεικόνιση των αποτελεσμάτων ταξινόμησης Μηχανικής Μάθησης. Η προσέγγισή μας δείχνει πολλά υποσχόμενα αποτελέσματα σε μια περίπτωση τραπεζικής χρήσης σε πραγματικό κόσμο και λειτουργεί ως το θεμέλιο για την ανάπτυξη περαιτέρω τραπεζικών μικροϋπηρεσιών ΟΔΕ, όπως η πρόβλεψη ταμιακών ροών, ο εντοπισμός απάτης και η παρακολούθηση του προϋπολογισμού.Αυτή η Διατριβή είναι ένα βήμα προς πιο αξιόπιστες και αποτελεσματικές μεθόδους Μηχανικής Μάθησης για πραγματικά προβλήματα βιομηχανίας κυρίως χρησιμοποιώντας δεδομένα χρονοσειρών. Ως εκ τούτου στο προτεινόμενο πλαίσιο της διατριβής έχει ενσωματωθεί ένα καινοτόμο μοντέλο ΧΑΙ για χρονοσειρές. Ελπίζουμε ότι τα ευρήματά μας θα αποτελέσουν κίνητρο για τους μελλοντικούς ερευνητές και θα χρησιμεύσουν ως εργαλεία για μηχανικούς σε βιομηχανικές εφαρμογές υψηλού αντίκτυπου.