Παρακολούθηση της κατάστασης των καλλιεργειών με τη χρήση Διαδικτύου των Πραγμάτων και μεθόδων Τεχνητής Νοημοσύνης

Abstract

In modern agriculture, monitoring crops using conventional methods presents significant challenges, as these methods are often limited by a lack of accuracy and difficulty in collecting and analyzing data in real-time. Dependence on traditional techniques, such as on-site observation and sampling, can lead to delays in decision-making, inadequate resource utilization, and lower crop efficiency. Furthermore, these methods are subjective and rely heavily on the knowledge and experience of the farmworker. This makes timely and objective detection of issues, such as plant diseases, difficult, which can negatively impact productivity and the sustainability of agricultural activities. These challenges can be addressed using modern sensors and precision agriculture systems. Specifically, Internet of Things (IoT) sensors enable online crop monitoring, providing continuous and reliable real-time data streams that can be transmitted instantly through data transmission technologies and protocols. This connectivity between sensors and IoT plat-forms allows farmers to make timely decisions, improving crop performance and reducing costs. Additionally, when these sensors are combined with artificial intelligence (AI) methods, they offer even greater advantages, as algorithms can analyze data, detect patterns, and predict problems before they occur. This combination increases the accuracy and effective-ness of crop monitoring, enabling more sustainable and efficient management of agricultural resources. This dissertation presents five applications where IoT technologies are combined with AI methods to address the challenges of modern agriculture. Each application serves as an ex-ample of how the integration of these technologies can provide innovative solutions for crop monitoring and management. Initially, a thorough literature review is conducted, covering the existing literature and the methods used in this work (Chapters 1 and 2). The first application (Chapter 3) involves the use of a spectrophotometer to detect viral load in young tomato plants, using machine learning methods for early detection of plant infection by the ToCV virus at a presymptomatic stage, considering two scenarios regarding the use of outliers in the training of algorithms. This is followed by three applications for monitoring the health of a vineyard. In the first ap-plication (Chapter 3A), two transfer learning scenarios are created, with different philosophies of training and model validation, using three different deep learning algorithms. The training and validation of the models are performed on images from online databases, and testing is carried out on RGB images from the experimental vineyard. Then (Chapter 3B), the most successful transfer learning technique from Chapter 3A is tested for training lightweight models that can be easily applied to microcontrollers, such as the Raspberry Pi, for real-time disease detection, also supported by a lightweight semantic segmentation algorithm to achieve greater accuracy in disease detection. This microcontroller can function autonomously or as an IoT device when mounted on an unmanned ground vehicle, with the ability to process data through ROS software and send the model's response to a decision support system. Finally (Chapter 3C), data obtained from disease detection algorithms through a multispectral camera mounted on a UAV, ground hyperspectral camera, and images collected in the vineyard are combined into a data fusion algorithm to enhance detection capabilities. The final application focuses on predicting the infection of a winter wheat field by the Fusarium Head Blight fungus (Chapter 5), using data fusion from satellite imaging, IoT sensors measuring temperature and humidity, and soil data. Features from the different data sources are applied as input to machine learning algorithms. From the above, it is evident that in Chapters 3 and 4 (including all subchapters), the problem being addressed is a classification problem (the first with machine learning, the second with deep learning), while in Chapter 5, the problem is quantitative, applying regression methods. In both cases, highly satisfactory results have been achieved, exceeding 90% accuracy or 0.9 in the coefficient of determination, depending on the problem. This research highlighted the potential of IoT and artificial intelligence technologies in monitoring crop conditions, offering new opportunities for precise and timely management. The results demonstrate that these technologies can be effectively integrated into Decision Sup-port Systems, enhancing decision-making and efficiency in agriculture. Furthermore, it is suggested that future research should explore the use of digital representations through digital twins, which could offer even more comprehensive and tailored solutions for managing agricultural systems in the future.

Στη σύγχρονη γεωργία, η παρακολούθηση των καλλιεργειών με συμβατικούς τρόπους παρουσιάζει σημαντικές προκλήσεις, καθώς οι μέθοδοι αυτές είναι συχνά περιορισμένες από την έλλειψη ακρίβειας και τη δυσκολία στη συλλογή και ανάλυση δεδομένων σε πραγματικό χρόνο. Η εξάρτηση από παραδοσιακές τεχνικές, όπως η επί τόπου παρατήρηση και οι δειγματοληψίες, μπορεί από τη μία μεριά να οδηγήσει σε καθυστερήσεις στη λήψη αποφάσεων, ανεπαρκή αξιοποίηση των πόρων και χαμηλότερη αποδοτικότητα των καλλιεργειών και από την άλλη είναι υποκειμενικές και εξαρτώνται από τη γνώση και την εμπειρία του εργάτη γης. Αυτές οι μέθοδοι καθιστούν δύσκολη την έγκαιρη και αντικειμενική ανίχνευση προβλημάτων όπως οι ασθένειες των φυτών, γεγονός που μπορεί να επηρεάσει αρνητικά την παραγωγικότητα και τη βιωσιμότητα των γεωργικών δραστηριοτήτων. Η παραπάνω δυσκολία μπορεί να αντιμετωπιστεί με τη χρήση σύγχρονων αισθητήρων και συστημάτων γεωργίας ακριβείας. Ιδιαίτερα, οι αισθητήρες διαδικτύου των πραγμάτων (IoT) επιτρέπουν την online παρακολούθηση των καλλιεργειών, παρέχοντας συνεχή και αξιόπιστη ροή δεδομένων σε πραγματικό χρόνο, η οποία μπορεί να μεταδοθεί άμεσα μέσω τεχνολογιών και πρωτοκόλλων για τη μετάδοση δεδομένων. Η διασυνδεσιμότητα αυτή των αισθητήρων με τις αντίστοιχες πλατφόρμες IoT, επιτρέπει στους γεωργούς να λαμβάνουν έγκαιρες αποφάσεις, βελτιώνοντας την απόδοση των καλλιεργειών και μειώνοντας τα κόστη. Επιπλέον, όταν οι αισθητήρες αυτοί συνδυάζονται με μεθόδους τεχνητής νοημοσύνης, προσφέρουν ακόμα μεγαλύτερα πλεονεκτήματα, καθώς οι αλγόριθμοι μπορούν να αναλύουν τα δεδομένα, να εντοπίζουν μοτίβα και να προβλέπουν προβλήματα πριν αυτά εμφανιστούν. Αυτός ο συνδυασμός αυξάνει την ακρίβεια και την αποτελεσματικότητα της παρακολούθησης των καλλιεργειών, επιτρέποντας μια πιο βιώσιμη και αποδοτική διαχείριση των γεωργικών πόρων. Σε αυτή τη διατριβή, παρουσιάζονται πέντε εφαρμογές όπου συνδυάζονται τεχνολογίες IoT με μεθόδους τεχνητής νοημοσύνης, προκειμένου να αντιμετωπιστούν οι προκλήσεις της σύγχρονης γεωργίας. Κάθε εφαρμογή αποτελεί ένα παράδειγμα του πώς η σύζευξη αυτών των τεχνολογιών μπορεί να προσφέρει καινοτόμες λύσεις για την παρακολούθηση και τη διαχείριση των καλλιεργειών. Αρχικά, γίνεται μία εκτενής βιβλιογραφική επισκόπηση με την υπάρχουσα βιβλιογραφία και τις μεθόδους που χρησιμοποιήθηκαν στην παρούσα εργασία (Κεφάλαιο 1 και 2), παρουσιάζεται η πρώτη εφαρμογή (Κεφάλαιο 3), όπου γίνεται χρήση ενός φασματοφωτόμετρου για την ανίχνευση του ιικού φορτίου σε νεαρά φυτά τομάτας, με χρήση μεθόδων μηχανικής μάθησης, για την έγκαιρη ανίχνευση της προσβολής των φυτών από τον ιό ToCV, σε προσυμπτωματικό στάδιο, λαμβάνοντας υπόψη δύο σενάρια αναφορικά με τη χρήση των ακραίων τιμών στη διαδικασία της εκπαίδευσης των αλγορίθμων. Την εφαρμογή αυτή ακολουθούν τρεις εφαρμογές για την παρακολούθηση της κατάστασης της υγείας ενός αμπελώνα, όπου, σε πρώτη φάση (Κεφάλαιο 3Α) δημιουργούνται δύο σενά-ρια μεταφερόμενης μάθησης, με διαφορετική φιλοσοφία εκπαίδευσης και επαλήθευσης των μοντέλων χρησιμοποιώντας τρεις διαφορετικούς αλγορίθμους βαθιάς μάθησης. Οι εκπαίδευση και επαλήθευση των μοντέλων γίνεται σε εικόνες από διαδικτυακές βάσεις δεδομένων και η δοκιμή γίνεται σε εικόνες RGB από τον πειραματικό αμπελώνα. Στη συνέχεια (Κεφάλαιο 3Β), γίνεται δοκιμή της πιο επιτυχημένης τεχνικής μεταφερόμενης μάθησης του Κεφαλαίου 3Α, για την εκπαίδευση ελαφριών μοντέλων, που μπορούν με ευκολία να εφαρμοστούν σε μικροελεγκτές, όπως το Raspberry Pi, για την ανίχνευση ασθενειών σε πραγματικό χρόνο, χρησιμοποιώντας ως υποστήριξη και έναν ελαφρύ αλγόριθμο σημασιολογικής κατάτμησης, για την επίτευξη μεγαλύτερης ακρίβειας στην ανίχνευση των ασθενειών. Ο συγκεκριμένος μικροελεγκτής μπορεί να λειτουργήσει είτε αυτόνομα είτε ως συσκευή IoT, τοποθετημένος σε κάποια επίγεια ρομποτική πλατφόρμα, με δυνατότητα επεξεργασίας των δεδομένων μέσω του λογισμικού ROS και αποστολής των αποτελεσμάτων σε ένα σύστημα υποστήριξης αποφάσεων. Τέλος (Κεφάλαιο 3Γ), γίνεται συνδυασμός των δεδομένων που προέκυψαν από τους αλγό-ριθμους ανίχνευσης των ασθενειών μέσω πολυφασματικής κάμερας τοποθετημένης σε μη επανδρωμένο αεροσκάφος, επίγειας υπερφασματικής κάμερας και εικόνων από τον αμπελώνα, σε έναν αλγόριθμο σύντηξης δεδομένων, για την ενίσχυση της ικανότητας ανίχνευσης τους. Η τελευταία εφαρμογή αφορά την πρόβλεψη της προσβολής ενός αγρού με χειμερινό σιτάρι από το μύκητα Fusarium Head Blight (Κεφάλαιο 5), χρησιμοποιώντας σύντηξη δεδομένων από δορυφορική απεικόνιση, αισθητήρες IoT για τη μέτρηση της θερμοκρασίας και της υγρασίας, καθώς και δεδομένα εδάφους. Τα χαρακτηριστικά (features) από τις διαφορετικές πηγές δεδομένων χρησιμοποιείται ως είσοδος σε αλγόριθμους μηχανικής μάθησης. Από τα παραπάνω προκύπτει ότι στα κεφάλαια 3 και 4 (μαζί με τα υποκεφάλαια), το πρόβλημα που αντιμετωπίζεται είναι πρόβλημα ταξινόμησης (το πρώτο με μηχανική μάθηση, το δεύτερο με βαθιά μάθηση), ενώ στο κεφάλαιο 5 το πρόβλημα είναι ποσοτικό και εφαρμόζονται μέθοδοι παλινδρόμησης. Και στις δύο περιπτώσεις έχουν επιτευχθεί πολύ ικανοποιητικά αποτελέσματα που ξεπερνούν το 90% της ακρίβειας ή το 0.9 στο συντελεστή προσδιορισμού, ανάλογα με το πρόβλημα. Η έρευνα αυτή ανέδειξε τη δυναμική των τεχνολογιών IoT και της τεχνητής νοημοσύνης στην παρακολούθηση της κατάστασης των καλλιεργειών, προσφέροντας νέες δυνατότητες για την ακριβή και έγκαιρη διαχείριση τους. Τα αποτελέσματα δείχνουν ότι οι τεχνολογίες αυτές μπορούν να ενσωματωθούν αποτελεσματικά σε Συστήματα Υποστήριξης Αποφάσεων (DSS), βελτιώνοντας τη λήψη αποφάσεων και την αποδοτικότητα στη γεωργία. Παράλληλα, προτείνεται η περαιτέρω έρευνα στη χρήση ψηφιακών αναπαραστάσεων μέσω ψηφιακών διδύμων, τα οποία μπορούν να προσφέρουν ακόμη πιο ολοκληρωμένες και προσαρμοσμένες λύσεις για τη διαχείριση των γεωργικών συστημάτων στο μέλλον.