Έξυπνες συσκευές στο διαδίκτυο των πραγμάτων με επεξεργασία στα άκρα του δικτύου

Abstract

Ιnsects play a vital role in ecosystems, participating in pollination and other natural processes, however they can cause problems for agricultural crops. Therefore, it is necessary to control and regulate their populations. Traditional techniques for monitoring insects have a limited range, are time-consuming, and require many skilled workers. Advances in technology, along with the development of the Internet of Things and the rapid evolution of Artificial Intelligence, make it possible to monitor insects automatically and non-invasively with smart traps. This thesis focuses on the use of Internet of Things and edge computing technologies to develop smart devices that incorporate artificial intelligence techniques. The goal is to create autonomous, innovative real-time data monitoring systems that meet the modern needs of agriculture and environmental management. Among the key contributions of the thesis is the development of a low-cost electronic insect trap (smart e-trap) that performs on-site image processing with a built-in deep learning model for automatic counting of harmful insects. A cost-effective device was developed, which has increased energy autonomy and provides satisfactory image quality for identification purposes. This device is designed to count the number of insects and transfer images from inside the trap to a remote server. The analysis and counting of insects is performed locally, using built-in quantized deep learning models. This study compares various performance parameters of three different edge devices, namely ESP32, Raspberry Pi Model 4, and Google Coral, which run deep learning algorithms using the TensorFlow Lite development framework. Each edge device was able to process images and achieve an accuracy of over 95%. However, processing times and energy consumption varied between the different devices. Our findings suggest that ESP32 emerges as the most suitable choice in the context of this application in line with our policy for low-cost and low-power devices.The second part describes the development of an image-based insect trap with features that distinguish it from other camera traps: (a) no manual labeling of training images is required to learn how to count target insects, and (b) it autonomously removes captured insects, making it ideal for prolonged use. The device includes a funnel trap with pheromone, into which a Raspberry Pi microcontroller equipped with a camera and deep learning algorithms for counting agricultural pests is integrated. In addition, the device receives instructions from the server that determines its functionality, and a built-in servo motor can automatically rotate the removable bottom of the bucket to dispose of dehydrated insects when they begin to accumulate. As a result, it overcomes a significant limitation of camera-based insect traps, which is the inevitable clogging and obstruction caused by the accumulation of insects over time, enhancing the trap’s autonomous functionality. Cases that are not adequately covered in the literature are examined, such as counting in crowded conditionsand large concentrations using crowd counting algorithms, especially in human surveillance scenarios. Finally, a comparative analysis of the results obtained from insect population measurements is carried out, applying different methods with deep learning algorithms: a) object detection algorithms (YOLOv7/8), b) algorithms for crowd counting (CSRNET), and c) regression algorithms in convolutional models. It is noteworthy that there is no single, ideal measurement method suitable for all circumstances involving overlapping insects of different sizes. After evaluating the advantages and disadvantages, it is suggested that YOLOv7/8 is generally the most satisfactory solution. In the third part, the new Diopsis dataset, which includes annotated images from sticky traps in the field, is used to examine an approach that focuses on enhancing the image set withdifferent backgrounds, as well as the SAHI approach that allows the detection of microscopic objects in object detection models such as YOLO. Extracting insects from training images to create enhanced backgrounds and using these backgrounds as bases for artificially shifting insects can enhance detection accuracy. In addition, SAHI techniques are combined during the operation of the YOLOv10nano model, achieving an mAP50 of 72.7%. Achieving mAP50 at 72.7% using a small model such as YOLOv10nano, which is suitable for small edge devices, demonstrates the efficient tracking of insects on energy-efficient devices such as the Raspberry Pi Zero W 2. Finally, extending the scope of this work beyond biodiversity monitoring practices and visual counting, we propose the development of a comprehensive acoustic monitoring system that combines a variety of technologies. This system aims to create a platform for distributed monitoring of audio data in real time. The system uses a network of microphones mounted on ESP32 devices, which transmit compressed audio clips via MQTT protocol to Raspberry Pi 5 devices for acoustic classification. These devices incorporate an audio transformer (AST) model trained on the AudioSet dataset, which allows for immediate categorization and time-stamping of audio events with high accuracy. The output of the transformer is stored in an event database and then converted to JSON format upon request or interface requirements. The generated JSON files are further processed into a graph structure, which incorporates the annotated soundscape, offering a multidimensional and holistic representation of sound environments. The graphs and JSON structures are then examined and analyzed using special Python code and language models (LLM), allowing the system to respond to complex questions regarding the nature, relationships, and context of the recorded sound events.A new graph analysis method is proposed that achieves low false alarm rates. The methodology for creating and processing event graphs outlined above was applied to the analysis of the audio content of a 1 hour and 40 minute film featuring dangerous driving practices. Our graph-based approach achieved an accuracy of 0.882, precision of 0.8, recall of 1.0, and an F1 score of 0.89.By combining the reliability of distributed sound detection with the accuracy of transformer-based sound classification (AST), the proposed method treats sound data as text, laying the foundations for new, advanced applications in acoustic surveillance and environmental monitoring, among others.

Τα έντομα διαδραματίζουν ζωτικό ρόλο στα οικοσυστήματα, συμμετέχοντας στην επικονίαση και άλλες φυσικές διαδικασίες, παρότι υπάρχει περίπτωση να προκαλέσουν προβλήματα στις αγροτικές καλλιέργειες. Επομένως, είναι απαραίτητος ο έλεγχος και η ρύθμιση των πληθυσμών τους. Οι κλασικές τεχνικές για την παρακολούθηση εντόμων έχουν περιορισμένο εύρος, απαιτούν πολύ χρόνο, και χρειάζονται πολλούς εξειδικευμένους εργαζόμενους. Η πρόοδος στην τεχνολογία, μαζί με την ανάπτυξη του Διαδικτύου των Πραγμάτων (Internet of Things) και την ταχύτατη εξέλιξη της Τεχνητής Νοημοσύνης, καθιστούν εφικτή την αυτοματοποιημένη και μη επεμβατική παρακολούθηση των εντόμων με έξυπνες παγίδες. Η παρούσα διατριβή επικεντρώνεται στην αξιοποίηση τεχνολογιών Διαδικτύου των Πραγμάτων και επεξεργασίας στα άκρα του δικτύου (Edge Computing) για την ανάπτυξη έξυπνων συσκευών που ενσωματώνουν τεχνικές τεχνητής νοημοσύνης (Artificial Intelligence). Ο στόχος είναι η δημιουργία αυτόνομων, καινοτόμων συστημάτων παρακολούθησης δεδομένων σε πραγματικό χρόνο, τα οποία καλύπτουν τις σύγχρονες ανάγκες της γεωργίας και της περιβαλλοντικής διαχείρισης. Μεταξύ των βασικών συνεισφορών της διατριβής είναι η ανάπτυξη μιας ηλεκτρονικής παγίδας εντόμων (smart e-trap) χαμηλού κόστους, που πραγματοποιεί τοπική επεξεργασία εικόνας με ενσωματωμένο μοντέλο βαθιάς μάθησης για αυτόματη καταμέτρηση επιβλαβών εντόμων. Αναπτύχθηκε μια οικονομικά αποδοτική συσκευή, η οποία διαθέτει αυξημένη ενεργειακή αυτονομία και παρέχει ικανοποιητικής ποιότητας εικόνες για τις ανάγκες αναγνώρισης. Η συσκευή αυτή είναι σχεδιασμένη να καταμετράει το πλήθος των εντόμων και να μεταφέρει εικόνες από το εσωτερικό της παγίδας σε έναν απομακρυσμένο διακομιστή. Η ανάλυση και η καταμέτρηση των εντόμων πραγματοποιούνται τοπικά, μέσω ενσωματωμένων κβαντισμένων μοντέλων βαθιάς μάθησης (Deep Learning). Αυτή η μελέτη συγκρίνει διάφορες παραμέτρους της απόδοσης τριών διαφορετικών συσκευών ακμής, συγκεκριμένα του ESP32, του Raspberry Pi Model 4, και του Google Coral, οι οποίες εκτελούν αλγορίθμους βαθιάς μάθησης χρησιμοποιώντας το πλαίσιο ανάπτυξης TensorFlow Lite. Κάθε συσκευή άκρης (Edge Device) ήταν σε θέση να επεξεργάζεται εικόνες και να επιτυγχάνει ακρίβεια καταμέτρησης (accuracy) άνω του 95%. Ωστόσο, οι χρόνοι της επεξεργασίας και η κατανάλωση ενέργειας διαφοροποιούνταν μεταξύ των διαφορετικών συσκευών. Τα ευρήματά μας υποδηλώνουν ότι το ESP32 αναδεικνύεται ως η πλέον κατάλληλη επιλογή στο πλαίσιο αυτής της εφαρμογής σύμφωνα με την πολιτική μας για συσκευές χαμηλού κόστους και χαμηλής κατανάλωσης ενέργειας. Στο δεύτερο μέρος, ακολουθεί η περιγραφή της ανάπτυξης μιας εντομοπαγίδας βασισμένης σε εικόνες, με χαρακτηριστικά που την ξεχωρίζουν από άλλες παγίδες με κάμερα: (α) δεν απαιτείται χειροκίνητη επισήμανση των εικόνων εκπαίδευσης για την εκμάθηση της καταμέτρησης των εντόμων στόχων και (β) απομακρύνει αυτόματα τα παγιδευμένα έντομα, γεγονός που την καθιστά ιδανική για παρατεταμένη χρήση. Η συσκευή περιλαμβάνει μια παγίδα χωνιού με φερομόνη, στην οποία έχει ενσωματωθεί ένας Raspberry Pi μικροϋπολογιστής εξοπλισμένος με κάμερα και αλγορίθμους βαθιάς μάθησης για την καταμέτρηση γεωργικών παρασίτων. Επιπρόσθετα, η συσκευή λαμβάνει οδηγίες από τον διακομιστή που καθορίζει τη λειτουργικότητά της, ένας ενσωματωμένος σερβοκινητήρας μπορεί να περιστρέφει αυτόματα το αποσπώμενο κάτω μέρος του κάδου για την απόρριψη των αφυδατωμένων εντόμων όταν αρχίσουν να συσσωρεύονται. Ως αποτέλεσμα, ξεπερνά έναν ουσιαστικό περιορισμό των παγίδων εντόμων με κάμερες που είναι η αναπόφευκτη επικάλυψη και απόκρυψη που προκαλείται από τη συσσώρευση εντόμων με την πάροδο του χρόνου, ενισχύοντας την αυτόνομη λειτουργική δυνατότητα της παγίδας. Εξετάζονται περιπτώσεις που δεν έχουν μελετηθεί επαρκώς στη βιβλιογραφία, όπως η καταμέτρηση σε συνθήκες συμφόρησης και μεγάλων συγκεντρώσεων με τη χρήση αλγορίθμων καταμέτρησης πλήθους με χάρτες πυκνότητας. Τέλος, διεξάγεται μια συγκριτική ανάλυση των αποτελεσμάτων που προκύπτουν από τις μετρήσεις πληθυσμού εντόμων, εφαρμόζοντας διαφορετικές μεθόδους βαθιάς μάθησης: α) εντοπισμό αντικειμένων (YOLOv7/8), β) καταμέτρηση πλήθους (CSRNET), και γ) συνελικτικά μοντέλα με παλινδρόμηση. Είναι αξιοσημείωτο ότι δεν υφίσταται μια ενιαία και ιδανική μέθοδος μέτρησης κατάλληλη για όλες τις περιστάσεις που αφορούν έντομα διαφόρων μεγεθών με επικάλυψη. Έχοντας αξιολογηθεί τα πλεονεκτήματα και τα μειονεκτήματα, υποδεικνύεται ότι το YOLOv7/8 αποτελεί γενικά την πιο ικανοποιητική λύση. Στο τρίτο μέρος, αξιοποιείται το νέο σύνολο δεδομένων Diopsis, το οποίο περιλαμβάνει επισημασμένες εικόνες από κολλώδεις παγίδες στον αγρό. Με βάση αυτό το σύνολο εξετάζεται: (α) η ενίσχυση των εικόνων με διαφορετικά υπόβαθρα και (β) η προσέγγιση Slicing Aided Hyper Inference (SAHI) που επιτρέπει την ανίχνευση μικροσκοπικών αντικειμένων σε μοντέλα εντοπισμού αντικειμένων όπως το YOLO. Η εξαγωγή εντόμων από εκπαιδευτικές εικόνες για τη δημιουργία βελτιωμένων φόντων και η χρήση αυτών των φόντων ως βάσεις για την τεχνητή μετατόπιση των εντόμων μπορούν να ενισχύσουν την ακρίβεια του εντοπισμού. Επιπλέον, συνδυάζονται τεχνικές SAHI κατά τη λειτουργία του μοντέλου YOLOv10nano, επιτυγχάνοντας mAP50 περίπου 72,7%. Με την επίτευξη mAP50 στο 72,7% αξιοποιώντας ένα μικρό μοντέλο όπως το YOLOv10nano, το οποίο είναι κατάλληλο για μικρές συσκευές άκρης, αποδεικνύεται η αποτελεσματική παρακολούθηση εντόμων σε ενεργειακά αποδοτικές συσκευές, όπως το Raspberry Pi Zero W 2. Τέλος, η εργασία πέρα από τον έλεγχο βιοποικιλότητας και την οπτική καταμέτρηση εντόμων, επεκτείνεται με την πρόταση ανάπτυξης ενός ολοκληρωμένου συστήματος ακουστικής επιτήρησης, το οποίο συνδυάζει ποικίλες τεχνολογίες. Το σύστημα αυτό αποσκοπεί στη δημιουργία μιας πλατφόρμας για την κατανεμημένη παρακολούθηση ηχητικών δεδομένων σε πραγματικό χρόνο. Το σύστημα χρησιμοποιεί ένα δίκτυο μικροφώνων τοποθετημένων σε συσκευές ESP32, τα οποία μεταδίδουν συμπιεσμένα κομμάτια ήχου μέσω πρωτοκόλλουMQTT σε συσκευές Raspberry Pi 5 για ακουστική ταξινόμηση. Οι συσκευές αυτές ενσωματώνουν ένα μοντέλο βαθιάς μάθησης μετασχηματιστή ήχου (AST) εκπαιδευμένο στο AudioSet dataset, το οποίο επιτρέπει την άμεση κατηγοριοποίηση και τη χρονοσήμανση των ηχητικών συμβάντων με μεγάλη ακρίβεια. Η έξοδος του μετασχηματιστή διατηρείται σε μια βάση δεδομένων συμβάντων και στη συνέχεια μετατρέπεται σε μορφή JSON κατόπιν αιτήματος ή αναγκών διεπαφής. Τα παραγόμενα αρχεία JSON επεξεργάζονται επιπλέον σε μια δομή γράφου, η οποία ενσωματώνει το σχολιασμένο ηχοτοπίο, προσφέροντας μια πολυδιάστατη και ολιστική απεικόνιση των ηχητικών περιβαλλόντων. Οι γράφοι και οι JSON δομές εξετάζονται και αναλύονται έπειτα μέσω ειδικού Python κώδικα και γλωσσικών μοντέλων (LLM), επιτρέποντας στο σύστημα να ανταποκρίνεται σε περίπλοκες ερωτήσεις αναφορικά με τη φύση, τις σχέσεις και το πλαίσιο των καταγεγραμμένων ηχητικών συμβάντων. Προτείνεται μια νέα μέθοδος ανάλυσης γράφων που επιτυγχάνει χαμηλά ποσοστά αναγνώρισης ψευδών περιστατικών. Η μεθοδολογία δημιουργίας και επεξεργασίας γράφων συμβάντων που επισημαίνεται εφαρμόστηκε στην ανάλυση του ηχητικού περιεχομένου μιας ταινίας διάρκειας 1 ώρας και 40 λεπτών που περιλαμβάνει επικίνδυνες πρακτικές οδήγησης. Η προσέγγισή μας με γράφους πέτυχε ακρίβεια (Accuracy) 0,882, πιστότητα (Precision) 0,8, ανάκληση(Recall) 1,0 και βαθμολογία F1 0,89. Συνδυάζοντας την αξιοπιστία της κατανεμημένης ανίχνευσης ήχων με την ακρίβεια της ταξινόμησης ήχου που βασίζεται στον μετασχηματιστή (AST), η προτεινόμενη μέθοδος αντιμετωπίζει τα ηχητικά δεδομένα ως κείμενο, δημιουργώντας τις βάσεις για νέες, προηγμένες εφαρμογές στην ακουστική επιτήρηση και την περιβαλλοντική παρακολούθηση, μεταξύ άλλων.