Knowledge extraction and security in internet of things systems

Abstract

It is more than obvious that the Internet is not the same as it was a few decades ago. It has evolved and brought new results and factors that have changed it and made it compatible with the current needs. We have witnessed a revolution and the birth of technologies like the Internet of Things, widely known as IoT nowadays. The traditional Internet has penetrated many areas of our everyday life and we no longer follow the initial paradigm, where the user turns on a desktop or laptop PC and connects to the internet. The idea now is that “things” such as Single Board Computers (SBCs) or low-cost processing modules are being used in areas such as Smart Agriculture or Vehicles and via wireless (2G, 3G, 4G, 5G, Wi-Fi (Wireless Fidelity), LoRa (Long Range), Zigbee, Sigfox, Bluetooth, Satellite...) and stable connections (LAN – Local Area Network, optic fiber, …) the user can interact with sensors and actuators, in order to observe, data log measurements, and act accordingly. The SBCs and the low-cost processing modules are equipped with sensors, so they are ideal for many areas where there is need for sensing and datalogging over one or more connections. However, the usage of IoT involves so much more than just datalogging via sensors. Modules can work independently of user supervising. They can operate autonomously via the use of programs that have been stored on them. For instance, in the Internet of Vehicles (IoV) which is a sub-category of IoT, the nodes (vehicles) obey to the IoT rationale. Furthermore, they execute more complex programs, implement changing of their position, and analyze the environment for the safety of the users that are inside the vehicles. IoT can interface with Clouds and various Internet Services, so a user who lives in Germany can control the smart Energy Meter which is placed in a house in Greece. With the evolution of Machine Learning (ML) it is feasible to execute ML code in SBCs and provide more processing power to the IoT devices. It is not uncommon to attach a camera to a low-cost processing unit and via the use of a trained image ML model to inference live image processing targeting needs such as pest control in a farm field or soil salinity analysis and leaf disease analysis. Unmanned aerial vehicles (UAVs) are connected wirelessly with base stations and can capture images from a farm field in order to identify essential problems in farm field. This thesis documents our work on real world Internet of Things applications in different areas. First, we analysed the rationale and various details of IoT and Machine Learning in precision agriculture. A scheme was implemented in order to sense and evaluate different factors in a laboratory experiment. We sensed and logged temperature, Ultra Violet (UV) radiance, soil moisture and air humidity. Through the use of a sophisticated Recurrent Neural Network - Long Short Term Memory (RNN-LSTM), we were able to forecast weather conditions, so the user could identify when there was need to irrigate the plant or farm field (in cases of scaling up). This way the user could save water resources and money by avoiding unnecessary/excess irrigation. Energy is a valuable/scarce resource in farms, therefore we also proceeded to an analysis of different IoT modules and the related wireless systems, in order to identify ways to optimize energy consumption. Secondly, we performed experiments within the realm of the Internet of Vehicles (IoV), where security is a critical factor. More precisely, we simulated an IoV network of vehicles in an ns-3 simulator, where different asymmetric cryptographic protocols Number Theory Research Unit (NTRU), Elliptic Curve Cryptography (ECC), Hyper Elliptic Curve Cryptography – genus 2 (HECC-g2), Hyper Elliptic Curve Cryptography – genus 3 (HECC-g3), Rivest Shamir Adleman (RSA) were analysed. We observed metrics of encryption/decryption times, message sizes, signature generation times, signature verification times, exchange handshake sizes, and pseudonym exchange times, while we also examined how the energy of the nodes (vehicles) was affected when executing each asymmetric protocol. Thirdly, we elaborated on the effects of Machine Learning models, and more precisely how the Convolutional Neural Network (CNN) model behaves when executed in different processing architectures. We used 3 SBCs that incorporated different processing units: Central Processing Unit (CPU), Graphics Processing Unit (GPU) Tensor Processing Unit (TPU) used in the inference part on image analysis related to leaves’ diseases. Our research focused mainly on CPU-, Random Access Memory (RAM)-, and swap memory usage, as well as temperature and energy consumption. Fourthly, we experimented extensively with Arduino IoT modules in rice and maize farms, in cooperation with Machine Learning and more specifically CNNs and RNN-LSTMs. Linear Regression and Multiple Regression were used for farm metrics' analysis, especially in rice fields farms. There is also a pioneer device analyzed towards resin and rubber collection presented based on Arduino microcontroller and various sensors, that transmits to the end user information about the environmental conditions of the resin/rubber collection via GSM/GPRS or via Xbee Zigbee. Lastly, a pioneer mailbox for hardcopy letters, was invented, with the ability to inform the user via Short Message/Messaging Service (SMS) messages if a letter is received. It uses an InfraRed sensor which senses the reception of a new letter in order to identify when there is a new letter inside the mailbox. It also incorporates a Liquid Crystal Display (LCD) screen, and keypad in order to control some functions such as the end user’s mobile number, the current consumption and the GSM/GPRS (Global System for Mobile Communications/General Packet Radio Service) signal strength. The user can also check the life of the battery. The device has been patented in the Hellenic Industrial Property Organisation (“OBI” in greek).

Είναι κάτι παραπάνω από προφανές ότι το Διαδίκτυο δεν είναι το ίδιο όπως πριν από μερικές δεκαετίες. Εξελίχθηκε και έφερε νέα αποτελέσματα και παράγοντες που το άλλαξαν και το έκαναν συμβατό με τις τρέχουσες ανάγκες. Έχουμε γίνει μάρτυρες μιας επανάστασης και της γέννησης τεχνολογιών όπως το Internet of Things, ευρέως γνωστό ως IoT στις μέρες μας. Το παραδοσιακό Διαδίκτυο έχει διεισδύσει σε πολλούς τομείς της καθημερινότητας και δεν ακολουθεί πλέον το αρχικό παράδειγμα, όπου ο χρήστης ανοίγει έναν επιτραπέζιο ή φορητό υπολογιστή και συνδέεται στο διαδίκτυο. Η ιδέα τώρα είναι ότι «αντικείμενα» όπως οι υπολογιστές μιας πλακέτας (SBC) ή οι μονάδες επεξεργασίας χαμηλού κόστους χρησιμοποιούνται σε τομείς όπως η Έξυπνη Γεωργία ή τα Οχήματα και μέσω ασύρματης σύνδεσης (2G/3G, 4G, 5G, Wi-Fi, LoRa , Zigbee, Sigfox, Bluetooth, Satellite,...) και σταθερές συνδέσεις (LAN, οπτικές ίνες,…) ο χρήστης μπορεί να αλληλεπιδράσει με αισθητήρες και ενεργοποιητές, προκειμένου να παρατηρήσει, μετρήσεις αρχείων καταγραφής δεδομένων και να ενεργήσει ανάλογα. Τα SBC και οι μονάδες επεξεργασίας χαμηλού κόστους είναι εξοπλισμένα με αισθητήρες, επομένως είναι ιδανικά για πολλές περιοχές όπου υπάρχει ανάγκη για ανίχνευση και καταγραφή δεδομένων σε μία ή περισσότερες συνδέσεις. Ωστόσο, η χρήση του IoT περιλαμβάνει πολλά περισσότερα από την απλή καταγραφή δεδομένων μέσω αισθητήρων. Οι μονάδες μπορούν να λειτουργούν ανεξάρτητα από την επίβλεψη του χρήστη. Μπορούν να λειτουργούν αυτόνομα μέσω της χρήσης προγραμμάτων που έχουν αποθηκευτεί σε αυτά. Για παράδειγμα, στο Internet of Vehicles (IoV) που είναι μια υποκατηγορία του IoT, οι κόμβοι (οχήματα) υπακούουν στη λογική του IoT. Επιπλέον, εκτελούν πιο σύνθετα προγράμματα, πραγματοποιούν αλλαγή της θέσης τους και αναλύουν το περιβάλλον για την ασφάλεια των χρηστών που βρίσκονται μέσα στα οχήματα. Το IoT μπορεί να διασυνδέεται με Cloud και διάφορες Υπηρεσίες Διαδικτύου, ώστε ένας χρήστης που ζει στη Γερμανία να μπορεί να ελέγχει τον έξυπνο μετρητή ενέργειας που είναι τοποθετημένος σε ένα σπίτι στην Ελλάδα.Με την εξέλιξη της Μηχανικής Μάθησης (ML) είναι εφικτό να εκτελεστεί κώδικας ML σε SBC και να παρέχεται περισσότερη επεξεργαστική ισχύς στις συσκευές IoT. Δεν είναι ασυνήθιστο να συνδέεται μια κάμερα σε μια μονάδα επεξεργασίας χαμηλού κόστους και μέσω της χρήσης ενός εκπαιδευμένου μοντέλου ML εικόνας για να συμπεράνουμε ανάγκες επεξεργασίας ζωντανής εικόνας, όπως έλεγχος παρασίτων σε αγρόκτημα ή ανάλυση αλατότητας εδάφους και ανάλυση ασθενειών των φύλλων. Τα μη επανδρωμένα εναέρια οχήματα (UAV) συνδέονται ασύρματα με σταθμούς βάσης και μπορούν να τραβήξουν εικόνες από ένα αγρόκτημα προκειμένου να εντοπίσουν βασικά προβλήματα στο αγρόκτημα. Αυτή η διατριβή τεκμηριώνει την τρέχουσα εργασία σε εφαρμογές του Διαδικτύου των Πραγμάτων στον πραγματικό κόσμο σε διαφορετικούς τομείς. Αρχικά, αναλύεται η λογική και οι διάφορες λεπτομέρειες του IoT και της Μηχανικής Μάθησης στη γεωργία ακριβείας. Εφαρμόστηκε ένα σχήμα για την ανίχνευση και αξιολόγηση διαφορετικών παραγόντων σε ένα εργαστηριακό πείραμα. Ανιχνεύεται και καταγράφεται η θερμοκρασία, η υπεριώδης ακτινοβολία, η υγρασία του εδάφους και η υγρασία του αέρα. Μέσω της χρήσης ενός εξελιγμένου επαναλαμβανόμενου νευρωνικού δικτύου - Μακροπρόθεσμης Μνήμης (RNN-LSTM), είναι σε θέση να προβλέπει καιρικές συνθήκες, ώστε ο χρήστης να μπορεί να εντοπίσει πότε χρειαζόταν άρδευση του φυτού ή του αγροκτήματος. Με αυτόν τον τρόπο ο χρήστης θα μπορούσε να εξοικονομήσει υδάτινους πόρους και χρήματα αποφεύγοντας την περιττή/υπερβολική άρδευση. Η ενέργεια είναι ένας πολύτιμος / σπάνιος πόρος στα αγροκτήματα. Ως εκ τούτου, προχωρά και σε ανάλυση διαφορετικών μονάδων IoT και των σχετικών ασύρματων συστημάτων, προκειμένου να εντοπιστούν τρόποι βελτιστοποίησης της κατανάλωσης ενέργειας.Δεύτερον, πραγματοποιήθηκαν πειράματα στη σφαίρα του Διαδικτύου των Οχημάτων (IoV), όπου η ασφάλεια είναι κρίσιμος παράγοντας. Πιο συγκεκριμένα, προσομοιώθηκε ένα δίκτυο οχημάτων IoV σε προσομοιωτή ns-3, όπου αναλύθηκαν διαφορετικά ασύμμετρα κρυπτογραφικά πρωτόκολλα (NTRU, ECC, HECC-g2, HECC-g3, RSA). Παρατηρήθηκαν μετρήσεις των χρόνων κρυπτογράφησης/αποκρυπτογράφησης, μεγέθη μηνυμάτων, χρόνους δημιουργίας υπογραφών, χρόνους επαλήθευσης υπογραφής, μεγέθη ανταλλαγής χειραψίας και χρόνους ανταλλαγής ψευδωνύμων, ενώ εξετάστηκε επίσης πώς επηρεάστηκε η ενέργεια των κόμβων (οχημάτων) κατά την εκτέλεση κάθε ασύμμετρου πρωτόκολλο.Τρίτον, αναλύθηκαν τα αποτελέσματα των μοντέλων Μηχανικής Μάθησης και πιο συγκεκριμένα πώς συμπεριφέρεται το μοντέλο Συνελικτικού Νευρωνικού Δικτύου (CNN) όταν εκτελείται σε διαφορετικές αρχιτεκτονικές επεξεργασίας. Χρησιμοποιήθηκαν 3 SBC που ενσωμάτωσαν διαφορετικές μονάδες επεξεργασίας (CPU, GPU, TPU) που χρησιμοποιούνται στο κομμάτι του inference για την ανάλυση εικόνας που σχετίζεται με τις ασθένειες των φύλλων. Η τρέχουσα έρευνα επικεντρώθηκε κυρίως στη χρήση CPU, μνήμης RAM και swap, καθώς και στη θερμοκρασία και την κατανάλωση ενέργειας.Τέταρτον, υπήρξαν εκτεταμένα πειράματα με μονάδες Arduino IoT σε φάρμες ρυζιού και καλαμποκιού, με χρήση Μηχανικής Μάθησης και πιο συγκεκριμένα τα CNN και τα RNN-LSTM. Η Γραμμική Παλινδρόμηση και η Πολλαπλή Παλινδρόμηση χρησιμοποιήθηκαν επίσης για την ανάλυση των αγροκτημάτων, και συγκεκριμένα σε αγροκτήματα ορυζώνων. Σχεδιάστηκε επίσης μια πρωτοποριακή συσκευή για ερευνητικούς λόγους, στα πλαίσια της παρούσας Διδακτορικής Διατριβής, στην οποία αναλύθηκε η συλλογή ρητίνης και καουτσούκ που υλοποιήθηκε με βάση τον μικροελεγκτή Arduino και διάφορους αισθητήρες, που μεταδίδει στον τελικό χρήστη πληροφορίες για την κατάσταση του περιβάλλοντος.Τέλος, εφευρέθηκε ένα πρωτοποριακό γραμματοκιβώτιο για έντυπες επιστολές, με τη δυνατότητα να ενημερώνει τον χρήστη μέσω μηνυμάτων Short Message/Messaging Service (SMS) σε περίπτωση λήψης επιστολής. Χρησιμοποιεί έναν αισθητήρα υπέρυθρων που ανιχνεύει τη λήψη ενός νέου γράμματος για να αναγνωρίσει πότε υπάρχει ένα νέο γράμμα μέσα στο γραμματοκιβώτιο. Ενσωματώνει επίσης οθόνη υγρών κρυστάλλων (LCD) και πληκτρολόγιο για τον έλεγχο ορισμένων λειτουργιών όπως ο αριθμός κινητού τηλεφώνου του τελικού χρήστη, η τρέχουσα κατανάλωση και η ισχύς σήματος GSM/GPRS (Παγκόσμιο Σύστημα Κινητών Επικοινωνιών). Ο χρήστης μπορεί επίσης να ελέγξει τη διάρκεια ζωής της μπαταρίας. Η συσκευή έχει κατοχυρωθεί με δίπλωμα ευρεσιτεχνίας στον Οργανισμό Βιομηχανικής Ιδιοκτησίας Ελλάδος.