Ανάπτυξη μεθοδολογίας πρόβλεψης μεταβολής θέσης σημείων στο χώρο με χρήση τεχνητών νευρωνικών δικτύων

Abstract

The aim of this dissertation is to develop a methodology based on the intelligent method of the Artificial Neural Networks (ANN). The proposed methodology successes forecasting the change of point position, i.e. the displacement or deformation of the surface that they belong to. It focuses both on the short-term and on the long-term forecasting of such a complex phenomenon.The originality of the dissertation lies in:oThe introduction of the concept of forecast in the science of Geodesy and the checking of the conventional geodetic deformation models in order to produce forecasts of the change of point positions. oThe use of the science of "Knowledge Discovery in Databases-KDD" and, in particular, of data mining and analysis and preprocessing of big data. oThe use of appropriate and selected conventional quantitative forecasting methods, which are used in sciences such as medicine and economics, in order to produce forecasts of the change of point positions. oThe application of the Intelligent Artificial Neural Network (ANN) method to forecast the change of point positions. oThe comparison of conventional methods with intelligent ones.oThe development of an automated and integrated methodology, based on ANN, to forecast the position change in the space. The proposed methodology consists of the following steps and uses the corresponding techniques. •Initially, the problem is defined as a forecasting of the change of the point position which belongs on the earth's crustal or on a construction's surface. •The methodology answers both to one-step-ahead forecasts and to multi-step-ahead forecasts.•The next step is the data analysis, i.e. the time series of the acquired historical data for the phenomenon. It is proposed to find some basic computational indexes, namely the mean, the maximum and the minimum value, the variance, the standard deviation, the covariance, the autocovariance, the correlation and the autocorrelation. •Next the qualitative characteristics of the time series must be examined. That is to detect the probable existence of trend, seasonality, cyclicality or even randomness as they play a special role in the production of forecasts. •The next step is the pre-processing of the time series. At this step, problems such as missing values, possible duplicate records, and any unusual outliers may be identified.•The last step is the training of the appropriate ANN, which is also the core of the methodology. The use of nonlinear autoregressive NAR networks for forecasting one time step and non-linear autoregressive with eXogenous inputs NARX for multi-step forecasting is proposed. This network has not been used again to forecast a change in position. It was chosen because it can be trained using the data of the time series of the phenomenon under consideration. This step also includes all the individual steps for identifying all the hyper-parameters of the ANN that will finally be used. It also includes all the criteria that are used to select the most appropriate ANN. The methodology in addition to the proposed ANN examines the use of some of the conventional methods that have been analyzed, for the same purpose. The scope is to compare the forecasts generated by intelligent methods to those which are provided by the conventional methods. The fifth chapter concerns the implementation of all the above mentioned forecasting methods. This chapter initially refers the compilation of the software in order to support the proposed methodology. Moreover, the results which are obtained by applying the methodology to actual data acquired by permanent GNSS stations are presented. Different ways of choosing a representative sample, in cases where the available data is too much, are also recorded. The large number of available data creates the main disadvantage of the use of an ANN as a forecasting method because the training time increases rapidly. Finally, it is proposed to use stratified random sample by using the variance index of the available X, Y and Z time series.The results of the pre-processing are presented as well as the results of the forecasting of the selected conventional methods, both for one-step and for multi-step.The choice of the best ANN was made using the coefficient of determination (R2) as the selection criterion.At first, all the tested ANNs were consisted of one hidden layer and the activation function of the hidden and output neurons was the "logsig". The tests were initially differentiated in the following :the input data normalization interval [-0.8,0.8] or [0.1.0.9]the input data divides method into random separation (70%, 15%, 15%) or chronological (70%, 15%, 15%)the training algorism trainlm, trainbfg or trainbr.From the above 12 test sets are created. Each test set eventually implements 12 separate ANNs which then differentiate into the following:the number of hidden neurons: min = 5, max = 20, step = 5the number of delays: min = 2, max = 82, step = 40Tests were conducted for different input and output data, thus 14 different scenarios were created for each i GNSS station.Therefore, 12 test sets were created for each of the 14 scenarios. In each test set, 12 ANNs with different parameters are implemented and trained for each GNSS station. Specifically, for every GNSS station:•672 ANNs were trained, for the scenarios I to IV, that is 4 scenarios, implementing the test sets 1 to 6 and the test set 9 (7 test sets × 4 scenarios × 12 ΑΝΝs for one-step and multi-step forecast respectively). The knowledge from their training helped the reduction of the number of the ANNs in total. •288 ANNs were trained, for the scenarios V to X, that is 6 scenarios, implementing the test sets 3 and 9. (2 test sets × 6 scenarios × 12 ΑΝΝs for one-step and multi-step forecast respectively).•96 ANNs were trained, for the scenarios XI to XIV, that is 4 scenarios, implementing the test set 3. (1 test set × 4 scenarios × 12 ΑΝΝs for one-step and multi-step forecast respectively).So, the ANNs that were implemented were 1056 for each station for one-step and multi-step forecasting. Therefore, for the 3 sample stations 3168 ANNs were trained.Third partThe final part, which also consists of two chapters (the 6th and 7th), presents the final results and the final ANN of the methodology as well as the conclusions and proposals.Therefore, the sixth chapter presents the results obtained for forecasting one-step as well as multi-step both using conventional methods and using the proposed ANN.Finally the proposed ANN is a NAR (nonlinear autoregressive) recurrent neural network for one-step forecasts and a NARX (non-linear autoregressive with eXogenous inputs) in the case of multi-steps. It consists of one hidden layer and has as activation function of hidden neurons and output neurons the logsig function. Data is separated in chronological order (70%, 15%, and 15%) and their normalization is in the space [0.1, 0.9]. The training algorithm is Bayesian regularization. The number of hidden neurons is 10 and the number of delays 42 for one-step forecasts. While for multi-step forecasts there are 20 neurons and 2 delays.In addition, X, Y and Z coordinates have been decided to be separately the inputs , with the corresponding outputs (i.e. scenarios I, II and III).Therefore, 3000 ANNs were trained for all the 1000 GNSS stations (1000 GNSS × 3 scenarios) for the one-step forecasting, and other 3000 for the multi-step forecasting.It is noted, that the proposed ANN, especially in the case of one-step-ahead forecasts, is able to adequately forecast the size and the trend of the change of point positions. On the contrary, it is also evident that the best conventional methods have a significant deviation both in the forecast of the size and of the trend of the change of point positions.The seventh and final chapter summarizes the conclusions that have emerged and makes some proposals for further research. It is finally proven that the proposed methodology, based on an ANN, can give forecasts of position change of the order of 2 mm with MAE of the order of 0.5 mm while the optimum conventional method -ARMA model (4,3)- with MAE 1.8 mm.

Η διατριβή ασχολείται με την ανάπτυξη μιας μεθοδολογίας, η οποία βασίζεται στα Τεχνητά Νευρωνικά Δίκτυα (ΤΝΔ). Η προτεινόμενη αυτή μεθοδολογία αφορά στην πρόβλεψη της μεταβολής της θέσης σημείων στο χώρο, δηλαδή της μετακίνησης ή της παραμόρφωσης της επιφάνειας που ανήκουν. Επικεντρώνεται τόσο στη βραχυπρόθεσμη πρόβλεψη (short-term forecasting) ενός τέτοιου πολύπλοκου φαινομένου όσο και στη μακροπρόθεσμη (long-term forecasting).Οι πρωτοτυπίες της διατριβής έγκεινται στο ότι :oΕισάγεται η έννοια της πρόβλεψης στην επιστήμη της Γεωδαισίας και ελέγχονται όλα τα συμβατικά γεωδαιτικά μοντέλα παραμόρφωσης (deformation models) με στόχο την παραγωγή προβλέψεων μεταβολής της θέσης σημείων στο χώρο. oΧρησιμοποιείται η επιστήμη της "Ανακάλυψης γνώσης από Βάσεις Δεδομένων" (Knowledge Discovery In Databases-KDD) και συγκεκριμένα η εξόρυξη γνώσης από δεδομένα (data mining) και η διαχείριση και προ-επεξεργασία μεγάλου όγκου (big data) δεδομένων. oΔοκιμάζονται ορισμένες συμβατικές ποσοτικές μέθοδοι προβλέψεων, οι οποίες επιλέγχθησαν κατάλληλα από άλλες επιστήμες (π.χ. ιατρική, οικονομία) για την πρόβλεψη μεταβολής της θέσης σημείων στο χώρο. oΕφαρμόζεται η ευφυής μέθοδος των Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ) για την πρόβλεψη της μεταβολής της θέσης σημείων στο χώρο. oΣυγκρίνονται οι συμβατικές μέθοδοι με τις ευφυείς.oΑναπτύσσεται μια αυτοματοποιημένη και ολοκληρωμένη μεθοδολογία για την πρόβλεψη μεταβολής της θέσης σημείων στο χώρο η οποία βασίζεται σε ΤΝΔ. H μεθοδολογία που προτείνεται ακολουθεί τα παρακάτω στάδια και χρησιμοποιεί τις αντίστοιχες τεχνικές. •Αρχικά ορίζεται το πρόβλημα ως πρόβλεψη μεταβολής της θέσης σημείου στο χώρο της φυσικής γήινης επιφάνειας ή μιας επιφάνειας γενικά. •Στη συνέχεια καθορίζεται εάν η μεθοδολογία αναφέρεται σε πρόβλεψη ενός χρονικού βήματος (one-step-ahead forecast) ή σε προβλέψεις πολλών μελλοντικών χρονικών στιγμών (multi-step-ahead forecast). •Ακολουθεί η ανάλυση των δεδομένων (data analysis), δηλαδή των χρονοσειρών των ιστορικών δεδομένων. Προτείνεται η εύρεση κάποιων βασικών υπολογιστικών μέτρων δηλαδή του μέσου όρου, της μέγιστης και ελάχιστης τιμής, της τυπικής απόκλισης, της συνδιακύμανσης, της αυτοδιακύμανσης, της συσχέτισης και της αυτοσυσχέτισης. •Επιπλέον προτείνεται να εξετάζονται και τα ποιοτικά χαρακτηριστικά της χρονοσειράς. Δηλαδή η πιθανή ύπαρξη τάσης, εποχικότητας, κυκλικότητας ή και τυχαιότητας καθώς διαδραματίζουν ιδιαίτερο ρόλο στην παραγωγή των προβλέψεων. •Ακολουθεί το στάδιο της προ-επεξεργασίας της χρονοσειράς. Στο στάδιο αυτό αντιμετωπίζονται προβλήματα όπως: κενές καταγραφές (missing values), πιθανές διπλές καταγραφές και όποιες έκτοπες τιμές (outliers). •Τελευταίο στάδιο αυτό της εκπαίδευσης του πλέον κατάλληλου ΤΝΔ, που αποτελεί και τον πυρήνα της μεθοδολογίας. Στο συγκεκριμένο πρόβλημα προτείνεται η χρήση των μη γραμμικών αυτοπαλινδρομικών NAR (non-linear autoregressive) αναδρομικών νευρωνικών δικτύων για πρόβλεψη ενός χρονικού βήματος και των μη γραμμικών αυτοπαλινδρομικών NARX (non-linear autoregressive with eXogenous inputs) με εξωγενείς εισόδους για πρόβλεψη πολλαπλών βημάτων. Τα ΤΝΔ αυτά δεν έχουν χρησιμοποιηθεί μέχρι σήμερα για πρόβλεψη μεταβολής της θέσης. Η επιλογή αυτή εξασφαλίζει ότι τα ΤΝΔ "εκπαιδεύονται" χρησιμοποιώντας τα ίδια τα δεδομένα της χρονοσειράς του εξεταζόμενου φαινομένου. Αυτό το στάδιο περιλαμβάνει επίσης όλα τα επιμέρους βήματα για τον προσδιορισμό όλων των υπερ-παραμέτρων του ΤΝΔ το οποίο τελικά θα χρησιμοποιηθεί. Επίσης περιλαμβάνει και όλα τα κριτήρια τα οποία χρησιμοποιούνται για την επιλογή του καταλληλότερου ΤΝΔ. Η μεθοδολογία εκτός από το προτεινόμενο ΤΝΔ εξετάζει και τη χρήση κάποιων εκ των συμβατικών μεθόδων οι οποίες αναλύθηκαν. Ο σκοπός είναι η σύγκριση των παραγόμενων προβλέψεων που προκύπτουν από τις ευφυείς μεθόδους και από τις συμβατικές. Δημιουργήθηκε λογισμικό υποστήριξης της προτεινόμενης μεθοδολογίας και πραγματοποιήθηκε εφαρμογή σε πραγματικά δεδομένα 1000 σταθμών GNSS. Προτείνονται οι τρόποι επιλογής ενός αντιπροσωπευτικού δείγματος σε περιπτώσεις όπου τα διαθέσιμα δεδομένα είναι πάρα πολλά σε όγκο (σε αυτή την περίπτωση τρείς σταθμοί GNSS). Τα ΤΝΔ που εκπαιδεύτηκαν είναι μη γραμμικά αυτοπαλινδομικά NAR αναδρομικά για one-step πρόβλεψη και NARX με εξωγενείς εισόδους στην περίπτωση των πολλαπλών βημάτων. Η επιλογή του καταλληλότερου ΤΝΔ έγινε χρησιμοποιώντας ως κριτήριο τον συντελεστή προσδιορισμού R2 (coefficient of determination).Όλα τα εξεταζόμενα ΤΝΔ αποτελούνται από ένα κρυφό επίπεδο, έχουν ως συνάρτηση ενεργοποίησης των κρυφών νευρώνων και των νευρώνων εξόδου την logsig και διαφοροποιούνται αρχικά στα εξής σημεία : στο διάστημα κανονικοποίησης δεδομένων εισόδου σε [-0.8,0.8] και [0.1,0.9] στον τρόπο διαχωρισμού των δεδομένων σε τυχαίο διαχωρισμό (70%, 15%, 15%) και σε χρονολογικό (70%, 15%, 15%) στον αλγόριθμο εκπαίδευσης trainlm, trainbfg και trainbr. Από αυτόν τον πρώτο διαχωρισμό δημιουργούνται 12 test sets. Το κάθε test set υλοποιεί τελικά 12 ξεχωριστά ΤΝΔ, για κάθε i σταθμό, τα οποία διαφοροποιούνται στα εξής: στον αριθμό των κρυφών νευρώνων : min=5, max= 20, step= 5 στον αριθμό των καθυστερήσεων : min= 2, max= 82, step= 40. Επομένως δημιουργήθηκαν 12 test sets για κάθε ένα από τα 14 σενάρια. Στο κάθε test set υλοποιούνται και εκπαιδεύονται 12 ΤΝΔ με διαφορετικές παραμέτρους για κάθε μόνιμο σταθμό GNSS. Συνεπώς για τους 3 σταθμούς του δείγματος εκπαιδεύτηκαν 3168 ΤΝΔ. Τελικά, παρουσιάζονται τα αποτελέσματα που προέκυψαν για την πρόβλεψη ενός χρονικού βήματος αλλά και πολλαπλών χρονικών βημάτων τόσο με χρήση συμβατικών μεθόδων όσο και με χρήση του προτεινόμενου ΤΝΔ, για τους 1000 εξεταζόμενους σταθμούς GNSS. Το προτεινόμενο ΤΝΔ είναι ένα μη γραμμικό αυτοπαλινδομικό NAR (non-linear autoregressive) αναδρομικό νευρωνικό δίκτυο και ένα NARX (non-linear autoregressive with eXogenous inputs) με εξωγενείς εισόδους στην περίπτωση των πολλαπλών βημάτων. Αποτελείται από ένα κρυφό επίπεδο και έχει ως συνάρτηση ενεργοποίησης των κρυφών νευρώνων και των νευρώνων εξόδου την logsig. Ο διαχωρισμός των δεδομένων γίνεται με χρονολογικό τρόπο (70%, 15%, 15%) και η κανονικοποίηση τους στο διάστημα [0.1,0.9]. Αλγόριθμος εκπαίδευσης είναι ο Bayesian regularization. Ο αριθμός των κρυφών νευρώνων είναι 10 και ο αριθμός των καθυστερήσεων 42 για προβλέψεις ενός βήματος. Ενώ για προβλέψεις πολλαπλών βημάτων είναι 20 νευρώνες και 2 καθυστερήσεις.Επιπλέον, αποφασίστηκε ως είσοδοι να είναι ανεξάρτητα οι συντεταγμένες X, Y και Z με τις αντίστοιχες εξόδους.Επομένως, όσον αφορά τα ΤΝΔ εκπαιδεύτηκαν τελικά 3000 ΤΝΔ για το σύνολο των 1000 σταθμών GNSS (1000 GNSS × 3 σενάρια) για one-step πρόβλεψη και αντίστοιχα για multi-step, πέραν των αρχικών 3168 ΤΝΔ που εκπαιδεύτηκαν για την επιλογή με χρήση του δείγματος. Διαπιστώνεται, πως το ΤΝΔ, κυρίως στην περίπτωση των προβλέψεων ενός χρονικoύ βήματος, είναι ικανό να προβλέψει ικανοποιητικά τόσο το μέγεθος όσο και τη τάση της μεταβολής της θέσης του εξεταζόμενου σημείου. Αντιθέτως είναι εμφανές πως οι βέλτιστες συμβατικές μέθοδοι εμφανίζουν σημαντική απόκλιση τόσο στην πρόβλεψη του μεγέθους όσο και της τάσης της μεταβολής της θέσης. Στο έβδομο και τελευταίο κεφάλαιο συνοψίζονται τα συμπεράσματα τα οποία προέκυψαν και γίνονται κάποιες προτάσεις για περαιτέρω έρευνα. Τελικά αποδεικνύεται ότι η προτεινόμενη μεθοδολογία η οποία βασίζεται σε ΤΝΔ μπορεί να δίνει προβλέψεις μεταβολής της θέσης σημείων στο χώρο της τάξης των 2mm με MAE 0.5 mm ενώ αντίστοιχα η βέλτιστη συμβατική μέθοδος - ARMA model (4,3) - με MAE 1.8mm.