AI-driven agricultural commodity price forecasting with hybrid models and scalable data infrastructure

Abstract

The aim of the present doctoral thesis was the study and development of machine learning methodologies for agricultural commodity price forecasting, with emphasis on grain commodities such as corn, wheat, and rice. Initially, a systematic literature review of the international scientific literature was conducted in order to identify and evaluate the forecasting techniques used in agricultural economics, including traditional statistical models, machine learning methods, ensemble learning approaches, and deep learning techniques. Subsequently, the main data sources affecting agricultural commodity prices were examined, including historical price series, weather data, production indicators, news and social sentiment data, as well as macroeconomic variables. In parallel, a scalable data warehouse architecture was designed and implemented for the management of large-scale agricultural data using big data technologies and distributed processing infrastructures. The research also focused on the comparison of different forecasting algorithms in terms of predictive accuracy, scalability, and generalization capability on real-world time series datasets. Furthermore, issues related to data preprocessing, feature selection, and model evaluation were analyzed with the objective of developing reliable forecasting systems for decision support in the agricultural sector. The findings of this thesis highlight the importance of advanced machine learning techniques and integrated data infrastructures in improving agricultural price forecasting and supporting agricultural economic analysis.

Σκοπός της παρούσας διδακτορικής διατριβής ήταν η μελέτη και ανάπτυξη μεθοδολογιών μηχανικής μάθησης για την πρόβλεψη των τιμών αγροτικών εμπορευμάτων, με έμφαση στα σιτηρά και ιδιαίτερα στο καλαμπόκι, το σιτάρι και το ρύζι. Αρχικά πραγματοποιήθηκε συστηματική βιβλιογραφική ανασκόπηση της διεθνούς επιστημονικής βιβλιογραφίας με στόχο την καταγραφή και αξιολόγηση των τεχνικών πρόβλεψης που χρησιμοποιούνται στην αγροτική οικονομία, όπως παραδοσιακά στατιστικά μοντέλα, μέθοδοι μηχανικής μάθησης, ensemble learning και τεχνικές βαθιάς μάθησης. Στη συνέχεια εξετάστηκαν οι κυριότερες πηγές δεδομένων που μπορούν να επηρεάσουν τις τιμές των αγροτικών προϊόντων, όπως ιστορικά δεδομένα τιμών, μετεωρολογικά δεδομένα, δεδομένα παραγωγής, ειδησεογραφικό και κοινωνικό συναίσθημα, καθώς και μακροοικονομικοί δείκτες. Παράλληλα σχεδιάστηκε και υλοποιήθηκε μία επεκτάσιμη αρχιτεκτονική αποθήκης δεδομένων για τη διαχείριση μεγάλου όγκου αγροτικών δεδομένων με χρήση τεχνολογιών big data και υποδομών κατανεμημένης επεξεργασίας. Η έρευνα επικεντρώθηκε επίσης στη σύγκριση διαφορετικών αλγορίθμων πρόβλεψης ως προς την ακρίβεια, την επεκτασιμότητα και την ικανότητα γενίκευσης σε πραγματικά δεδομένα χρονοσειρών. Επιπλέον αναλύθηκαν ζητήματα προεπεξεργασίας δεδομένων, επιλογής χαρακτηριστικών και αξιολόγησης μοντέλων, με στόχο τη δημιουργία αξιόπιστων συστημάτων πρόβλεψης για την υποστήριξη αποφάσεων στον αγροτικό τομέα. Τα αποτελέσματα της διατριβής αναδεικνύουν τη σημασία της αξιοποίησης προηγμένων τεχνικών μηχανικής μάθησης και ολοκληρωμένων υποδομών δεδομένων για τη βελτίωση της πρόβλεψης των αγροτικών τιμών και την ενίσχυση της αγροτικής οικονομικής ανάλυσης.