Κατανεμημένα συστήματα και αλγόριθμοι συλλογής μετρήσεων, λήψης αποφάσεων και απεικόνισης γεωαναφερόμενης πληροφορίας με εφαρμογές στην αμπελοκαλλιέργεια

Abstract

This doctoral thesis focuses on the development of a distributed system, called thingsAI, that can collect sensor measurements at the vine-branch level. Additionally, within the framework of this thesis, services and algorithms were developed to support precision cultivation proposals for viticulture. Within the framework of this thesis and to apply precision agriculture in the viticulture sector, particularly for monitoring biotic and abiotic stresses caused by climate change and diseases, a distributed precision system was designed, tested, and piloted. Additionally, new distributed networks, such as middleware data-collection protocols, are using low-energy wireless technologies, including Wi-Fi, BLE, and LoRaWAN. The new intelligent algorithms were based on the classification of problem occurrences. Through the proposed thingsAI real-time surveillance system at the vine level, it can accurately determine the locations of downy mildew incidents to target interventions that aim to narrow down downy mildew expansion. In this way, the resilience of the viticultural variety is ensured while protecting the environment from unnecessary, excessive universal interventions. The system's interaction with other periodic surveillance systems, such as cameras and drones, was also examined. Corresponding algorithms for spatial and temporal localization of downy mildew were studied within the framework of this thesis, with the ultimate goal of early classification of the phenomenon and its application to other diseases such as botrytis and vine water stress. In the context of adding intelligence to the thingsAI system, three different deep learning algorithms were implemented: 1) Stranded-NN, 2) Fuzzy stranded-NN, and 3) Stranded-LSTM. These artificial intelligence (AI) algorithms are deep learning algorithms. They can be used for geodetically choreographed classification via GPS and high-frequency sensor measurements, while stranded-LSTM can also be used as a prediction algorithm. For the detection of downy mildew disease from camera and drone visual material, relevant location recording and real-time detection services were designed and implemented using existing convolutional deep learning methods, such as ResNet models, and fast detection methods supported by YOLOv5 and YOLOv8. Furthermore, a model for detecting water stress from images was designed and implemented using specialized concentrators and autonomous vineyard towers. These towers record water stress levels using soil electrical conductivity sensors from beacon devices that transmit the measurements via BLE (Bluetooth Low Energy). Subsequently, these sensors were modified to operate either over Wi-Fi or LoRaWAN. The dataset was recorded in the wine-growing area of Zitsa, Epirus, Ioannina, during a downy mildew pandemic to train these models. On it, pixel-level identification of downy mildew vine disease occurrence at the image level (annotation) was performed. This dataset was made available as open data within the framework of this thesis and is available to the community for observation and the development of additional downy mildew detection methods. Additionally, within the framework of this thesis, the methodology for recording and locating the position of optical material from drone cameras, storing them in the cloud via a data streaming service, indexing the positions using GPS information from the drone images, and locating the disease using deep learning models was implemented.

Η παρούσα διδακτορική διατριβή επικεντρώνεται στην ανάπτυξη ενός Κατανεμημένου Συστήματος ονομαζόμενο ως thingsAI με δυνατότητες συλλογής μετρήσεων αισθητήρων σε επίπεδο αμπελουργικού πρέμνου. Στα πλαίσια της διατριβής αυτής αναπτύχθηκαν οι υπηρεσίες καθώς οι αλγόριθμοι που αποβλέπουν σε καλλιεργητικές προτάσεις ακριβείας για την αμπελοκαλλιέργεια. Στα πλαίσια αυτής της διατριβής και με στόχο την παρακολούθηση αβιοτικών-βιοτικών καταπονήσεων της αμπέλου λόγω της κλιματικής αλλαγής και ασθενειών, σχεδιάστηκε δοκιμάστηκε και υλοποιήθηκε πιλοτικά το εν λόγω κατανεμημένο σύστημα ακριβείας. Υλοποιήθηκαν κατανεμημένα δίκτυα-middleware πρωτόκολλα συλλογής δεδομένων πάνω από ασύρματες τεχνολογίες χαμηλής κατανάλωσης ενέργειας όπως οι Wi-Fi, BLE και LoRaWAN. Οι νέοι ευφυείς αλγόριθμοι καλλιεργητικών προτάσεων που υλοποιήθηκαν βασίστηκαν κυρίως στην ταξινόμηση της εμφάνισης του προβλήματος με κύριο πρόβλημα εξέτασης την επώαση και εξάπλωση του περονόσπορου στην αμπελοκαλλιέργεια. Η εν λόγω ασθένεια μέσω του προτεινόμενου thingsAI συστήματος εποπτείας πραγματικού χρόνου σε επίπεδο πρέμνου έχει την δυνατότητα ακριβούς προσδιορισμού και της θέσης εμφάνισης του προβλήματος με στόχο την ακριβή επέμβαση σε αυτό. Με αυτό τον τρόπο εξασφαλίζεται η ανθεκτικότητα της αμπελουργικής ποικιλίας, διασφαλίζοντας παράλληλα και τη προστασία του περιβάλλοντος από υπερβολικές και άσκοπες επεμβάσεις. Εξετάστηκε επίσης η αλληλεπίδραση του συστήματος με άλλα συστήματα περιοδικής εποπτείας όπως κάμερες και πολυκόπτερα (drones) και μελετήθηκαν αντίστοιχοι αλγόριθμοι χωρικού και χρονικού εντοπισμού της εμφάνισης της ασθένειας του περονόσπορου. Στα πλαίσια της προσθήκης ευφυΐας στο thingsAI σύστημα, υλοποιήθηκαν τρείς διαφορετικοί αλγόριθμοι βαθιάς μάθησης: 1) o Stranded-NN, 2) ο Fuzzy stranded-NN και 3) ο Stranded-LSTM. Όλοι οι εν λόγω αλγόριθμοι βαθιάς μάθησης και μπορούν να χρησιμοποιηθούν για την ταξινόμηση γεωδαιτικά χοροθετημένων μέσω GPS, μετρήσεων αισθητήρων μεγάλης συχνότητας λήψεως, ενώ ο stranded-LSTM μπορεί να χρησιμοποιηθεί και ως αλγόριθμος πρόβλεψης. Για την ανίχνευση της ασθένειας του περονόσπορου από οπτικό υλικό καμερών και πολυκόπτερων, σχεδιάστηκαν και υλοποιήθηκαν σχετικές υπηρεσίες καταγραφής θέσης αλλά και ανίχνευσης πραγματικού χρόνου με χρήση υφισταμένων συνελικτικών μεθόδων (μοντέλων) βαθιάς μάθησης όπως τα ResNet μοντέλα αλλά και μεθόδων γρήγορης ανίχνευσης υποστηριζόμενες από μοντέλα όπως τα YOLOv5 και YOLOv8. Για την εκπαίδευση των μοντέλων αυτών χρησιμοποιήθηκε σετ δεδομένων που καταγράφηκε από τον ίδιο το συγγραφέα στην αμπελουργική περιοχή της Ζίτσας, Ηπείρου Ιωαννίνων καθώς και πάνω σε αυτό έγινε εντοπισμός σε επίπεδο εικονοστοιχείων των σημείων εμφάνισης της ασθένειας σε επίπεδο πρέμνου (annotation). Το εν λόγω σετ δεδομένων δόθηκε στα πλαίσια της διατριβής αυτής ως ανοιχτά δεδομένα και είναι διαθέσιμο στην κοινότητα για παρατηρήσεις και ανάπτυξη επιπρόσθετων μεθόδων ανίχνευσης του περονόσπορου. Παράλληλα σχεδιάστηκε και υλοποιήθηκε σχετικό μοντέλο εντοπισμού από εικόνα του υδατικού στρες της αμπέλου, μέσω ειδικών συκγεντρωτών (concentrators) και αυτόνομων φάρων αμπελώνα καταγραφής του επιπέδου του υδατικού στρες με χρήση αισθητήρων. Εν συνεχεία οι αισθητήρες αυτοί τροποποιήθηκαν να λειτουργούν είτε πάνω από Wi-Fi είτε πάνω από LoRaWAN. Τέλος στα πλαίσια της διατριβής αυτής εξετάζεται ακόμη ο τρόπος επικοινωνίας του συστήματος με τον παραγωγό καθώς και η δυνατότητα διασύνδεσης των δικτύων αυτών και με άλλα υφιστάμενα συστήματα, με στόχο τον προσδιορισμό ακριβούς θέσης, πρόβλεψης και εφαρμογής καλλιεργητικών επεμβάσεων ακριβείας.