Human-robot collaboration in agricultural operations

Abstract

Human–robot interaction (HRI) is increasingly recognized as a transformative approach in modern agriculture, with the potential to significantly enhance the efficiency, flexibility, and adaptability of farming practices. As an inherently interdisciplinary field, HRI synthesizes advancements in information and communication technologies (ICTs), robotics, machine learning, and cognitive sciences, enabling the development of innovative solutions to the complex and dynamic nature of agricultural environments. The integration of these technologies facilitates a more holistic and intelligent approach to agricultural automation, addressing both labor-intensive and precision-demanding tasks. A review of the existing literature reveals that HRI applications are predominantly concentrated in high-value crops, where the return on investment justifies the technological adoption. Notably, crops such as walnuts, grapes, and strawberries have emerged as focal points for HRI research and deployment. Within these contexts, modes of interaction that emphasize collaboration and cooperation between human workers and robotic systems, often involving varying degrees of autonomy, have been identified as the most effective. Across a range of implementation scenarios, the collaborative synergy between humans and robots has shown significant promise, yielding improvements in system performance, reducing the physical workload of laborers, and ensuring efficient task execution. However, despite these encouraging results, the development and deployment of robust, safe, and functionally viable human–robot interactive systems remain a major challenge, particularly due to the complexity and unpredictability of outdoor agricultural settings. This thesis addresses one of the central challenges in the field: the integration of robotic platforms into real-world agricultural operations. A significant barrier to widespread adoption lies in the technical expertise required for operating and maintaining such systems, especially in areas where many agricultural workers may lack sufficient training. To overcome this gap, the research proposes a methodology centered on the incorporation of machine learning algorithms to facilitate intuitive and accessible human–robot interaction. The system design emphasizes user-centered interfaces, employing natural human gestures and body movements as a means to control robotic behavior, thereby lowering the barrier for non-expert users and enhancing operational usability in the field. The first implementation presented in this thesis introduces a foundational gesture-recognition system to enable natural and intuitive communication between human operators and robotic platforms. This approach is particularly suited to the unpredictable and constantly changing conditions typical of agricultural environments. The implementation pursues two main objectives: (i) the development of a real-time, skeleton-based hand gesture recognition system capable of identifying five predefined gestures using a combination of machine learning and computer vision techniques; and (ii) the integration and evaluation of this recognition system within a functional HRI framework deployed in diverse real-world agricultural scenarios. Utilizing advanced platforms such as the Robot Operating System (ROS), the system translates recognized gestures into robot-executable commands. Field experiments, conducted in outdoor settings and involving one or two human participants, demonstrated the system’s capability to distinguish between individuals, follow designated users, assist, stop, navigate toward specified targets or disengage based on user intent. Importantly, the robot maintained safe operation throughout all interactions, adhering to socially accepted speeds and preserving appropriate distances from human collaborators. The second phase of the research builds upon this foundation, incorporating recent advancements in robotics, sensor technology, and deep learning to further extend the capabilities of HRI in agriculture. Guided by the evolving field of Agriculture 4.0, this implementation seeks to modernize traditional practices through the integration of real-time data acquisition and adaptive robotic behavior. The objectives of this phase are threefold: (i) to enhance the gesture recognition framework by expanding its gesture repertoire to include more complex and natural interactions; (ii) to establish a more fluid and seamless collaborative relationship between human workers and autonomous robotic systems; and (iii) to facilitate routine agricultural operations through intuitive, context-aware robot behavior. The proposed system was validated through a series of pilot experiments conducted in orchard environments, with the involvement of multiple human participants. These experiments demonstrated the system’s ability to adapt to multi-user scenarios, execute tasks reliably, and support day-to-day agricultural functions, thereby underscoring its practical viability and future potential within the domain of intelligent agriculture.

Η αλληλεπίδραση ανθρώπου–ρομπότ (HRI) αναγνωρίζεται ολοένα και περισσότερο ως μια επαναστατική προσέγγιση στη σύγχρονη γεωργία, με τη δυνατότητα να ενισχύσει σημαντικά την αποδοτικότητα, την ευελιξία και την προσαρμοστικότητα των γεωργικών πρακτικών. Ως κατεξοχήν διεπιστημονικός τομέας, η HRI συνδυάζει εξελίξεις στις τεχνολογίες πληροφορικής και επικοινωνιών (ICT), στη ρομποτική, στη μηχανική μάθηση και στις γνωσιακές επιστήμες, επιτρέποντας την ανάπτυξη καινοτόμων λύσεων απέναντι στη σύνθετη και δυναμική φύση των γεωργικών περιβαλλόντων. Η ενσωμάτωση αυτών των τεχνολογιών διευκολύνει μια πιο ολιστική και ευφυή προσέγγιση στον αυτοματισμό της γεωργίας, αντιμετωπίζοντας τόσο τις εργασίες που απαιτούν χειρωνακτική εργασία όσο και εκείνες που απαιτούν ακρίβεια. Ανασκόπηση της υπάρχουσας βιβλιογραφίας αποκαλύπτει ότι οι εφαρμογές HRI συγκεντρώνονται κυρίως σε καλλιέργειες υψηλής αξίας, όπου η απόδοση της επένδυσης δικαιολογεί την υιοθέτηση της τεχνολογίας. Καρποί όπως τα καρύδια, τα σταφύλια και οι φράουλες έχουν αναδειχθεί ως βασικά σημεία έρευνας και ανάπτυξης της HRI. Σε αυτά τα πλαίσια, μορφές αλληλεπίδρασης που δίνουν έμφαση στη συνεργασία μεταξύ ανθρώπινων εργαζομένων και ρομποτικών συστημάτων, συχνά με διάφορους βαθμούς αυτονομίας, έχουν αναγνωριστεί ως οι πιο αποτελεσματικές. Σε πλήθος σεναρίων υλοποίησης, η συνεργατική σύμπραξη ανθρώπων και ρομπότ έχει δείξει σημαντικές υποσχέσεις, βελτιώνοντας την απόδοση των συστημάτων, μειώνοντας τη σωματική καταπόνηση των εργαζομένων και εξασφαλίζοντας αποτελεσματική εκτέλεση των εργασιών. Παρ’ όλες τις ενθαρρυντικές εξελίξεις, η ανάπτυξη και υλοποίηση αξιόπιστων, ασφαλών και λειτουργικά βιώσιμων συστημάτων HRI παραμένει μια σημαντική πρόκληση, κυρίως λόγω της πολυπλοκότητας και της απρόβλεπτης φύσης των εξωτερικών γεωργικών συνθηκών. Η παρούσα διατριβή αντιμετωπίζει μία από τις κεντρικές προκλήσεις του πεδίου: την ενσωμάτωση ρομποτικών πλατφορμών σε πραγματικές γεωργικές λειτουργίες. Σημαντικό εμπόδιο για τη μαζική υιοθέτηση είναι η τεχνική εξειδίκευση που απαιτείται για τη λειτουργία και συντήρηση τέτοιων συστημάτων, ιδιαίτερα σε περιοχές όπου πολλοί γεωργικοί εργαζόμενοι μπορεί να μην έχουν επαρκή κατάρτιση. Για την αντιμετώπιση αυτού του κενού, η έρευνα προτείνει μια μεθοδολογία βασισμένη στην ενσωμάτωση αλγορίθμων μηχανικής μάθησης για τη διευκόλυνση διαισθητικής και προσβάσιμης αλληλεπίδρασης ανθρώπου–ρομπότ. Ο σχεδιασμός του συστήματος δίνει έμφαση σε διεπαφές προσανατολισμένες στον χρήστη, αξιοποιώντας φυσικές ανθρώπινες χειρονομίες και κινήσεις σώματος για τον έλεγχο του της ρομποτικής πλατφόρμας, μειώνοντας έτσι το εμπόδιο για μη εξειδικευμένους χρήστες. Η πρώτη υλοποίηση που παρουσιάζεται σε αυτή τη διατριβή εισάγει ένα βασικό σύστημα αναγνώρισης χειρονομιών για να επιτρέψει φυσική επικοινωνία μεταξύ ανθρώπινων χειριστών και ρομποτικών πλατφορμών. Αυτή η προσέγγιση είναι ιδιαίτερα κατάλληλη για τις απρόβλεπτες και συνεχώς μεταβαλλόμενες συνθήκες των γεωργικών περιβαλλόντων. Η υλοποίηση επιδιώκει δύο βασικούς στόχους: (i) την ανάπτυξη ενός συστήματος αναγνώρισης χειρονομιών βασισμένου σε πραγματικό χρόνο, ικανού να αναγνωρίζει πέντε προκαθορισμένες χειρονομίες μέσω συνδυασμού τεχνικών μηχανικής μάθησης και υπολογιστικής όρασης· και (ii) την ενσωμάτωση και αξιολόγηση του συστήματος αυτού σε ένα λειτουργικό πλαίσιο HRI, που εφαρμόζεται σε ποικίλα πραγματικά γεωργικά σενάρια.Αξιοποιώντας προηγμένες πλατφόρμες όπως το Robot Operating System (ROS), το σύστημα μεταφράζει τις αναγνωρισμένες χειρονομίες σε εντολές εκτελέσιμες από ρομπότ. Πειράματα πεδίου που διεξήχθησαν με έναν ή δύο ανθρώπινους συμμετέχοντες, απέδειξαν την ικανότητα του συστήματος να διακρίνει άτομα, να ακολουθεί επιλεγμένους χρήστες, να βοηθά, να σταματά, να κατευθύνεται προς καθορισμένους στόχους ή να απενεργοποιείται σύμφωνα με την πρόθεση του χρήστη. Σημαντικό είναι ότι το ρομπότ διατήρησε ασφαλή λειτουργία καθ’ όλη τη διάρκεια των αλληλεπιδράσεων, τηρώντας κοινωνικά αποδεκτές ταχύτητες και διατηρώντας κατάλληρες αποστάσεις από τους ανθρώπινους συνεργάτες. Η δεύτερη φάση της έρευνας βασίζεται σε αυτά τα θεμέλια, ενσωματώνοντας πρόσφατες εξελίξεις στη ρομποτική, την τεχνολογία αισθητήρων και τη βαθιά μάθηση, επεκτείνοντας περαιτέρω τις δυνατότητες της HRI στη γεωργία. Καθοδηγούμενη από το εξελισσόμενο πεδίο της Γεωργίας 4.0, αυτή η υλοποίηση αποσκοπεί στον εκσυγχρονισμό των παραδοσιακών πρακτικών μέσω της ενσωμάτωσης συλλογής δεδομένων σε πραγματικό χρόνο και προσαρμοστικής ρομποτικής συμπεριφοράς. Οι στόχοι αυτής της φάσης είναι τρεις: (i) η ενίσχυση του πλαισίου αναγνώρισης χειρονομιών με την επέκταση του των διαθέσιμων λειτουργιών ώστε να περιλαμβάνει πιο σύνθετες και φυσικές χειρονομίες (ii) η καθιέρωση πιο ομαλής και αδιάλειπτης συνεργασίας μεταξύ ανθρώπων και αυτόνομων ρομποτικών συστημάτων και (iii) η διευκόλυνση των καθημερινών γεωργικών λειτουργιών μέσω διαισθητικής, προσαρμοστικής ρομποτικής συμπεριφοράς.Το προτεινόμενο σύστημα επικυρώθηκε μέσω πιλοτικών πειραμάτων που πραγματοποιήθηκαν σε περιβάλλοντα οπωρώνα, με τη συμμετοχή πολλών ανθρώπων. Τα πειράματα κατέδειξαν την ικανότητα του συστήματος να προσαρμόζεται σε σενάρια πολλών χρηστών, να εκτελεί αξιόπιστα εργασίες και να υποστηρίζει τις καθημερινές λειτουργίες της γεωργίας, υπογραμμίζοντας έτσι τη λειτουργική του βιωσιμότητα και τη μελλοντική του δυναμική στον τομέα της έξυπνης γεωργίας.