Efficient deep learning in mobile and embedded computing environments

Abstract

Deep learning has fundamentally transformed the field of artificial intelligence, enabling significant advancements in areas such as natural language processing, computer vision, and autonomous decision-making. However, the ever-increasing complexity of modern models entails substantial computational demands, rendering the use of powerful cloud infrastructures essential. This dependence on centralized computing introduces limitations in terms of latency, privacy, and availability, posing a challenge for the deployment of AI applications on mobile and embedded systems. This dissertation investigates the intersection of deep learning and efficiency in resource-constrained environments, with the aim of establishing a holistic framework for the efficient development and execution of AI systems at the network edge. The research focuses on three key studies: (a) the development of CARIn, an adaptive inference framework designed to execute multiple neural networks on heterogeneous mobile devices using multi-objective optimization techniques; (b) the thorough evaluation and adaptation of Transformer models for mobile environments through low-cost architectural and hardware-aware optimizations; and (c) the design of A-THENA, an efficient intrusion detection system for IoT networks, based on Transformers with time-aware positional encodings. Through these contributions, this dissertation formulates a comprehensive approach to efficient deep learning in mobile and embedded computing environments. By exploring the interplay between model optimization, hardware adaptation, and real-world application requirements, this work bridges the gap between cutting-edge AI research and its practical deployment. The findings emphasize that efficiency is not merely an optimization objective but a foundational enabler for the future of AI, ensuring that deep learning technologies can operate seamlessly, sustainably, and intelligently across a wide range of computing platforms.

Η βαθιά μάθηση έχει μετασχηματίσει ριζικά το πεδίο της τεχνητής νοημοσύνης, προσφέροντας σημαντικές προόδους σε τομείς όπως η επεξεργασία φυσικής γλώσσας, η όραση υπολογιστών και η αυτόνομη λήψη αποφάσεων. Ωστόσο, η συνεχώς αυξανόμενη πολυπλοκότητα των μοντέλων συνεπάγεται σημαντικές υπολογιστικές απαιτήσεις, καθιστώντας αναγκαία την αξιοποίηση ισχυρών υποδομών νέφους. Η εξάρτηση αυτή από κεντρικοποιημένους πόρους δημιουργεί περιορισμούς σε ό,τι αφορά την καθυστέρηση, την ιδιωτικότητα και τη διαθεσιμότητα, αποτελώντας εμπόδιο για την ανάπτυξη εφαρμογών τεχνητής νοημοσύνης σε κινητά και ενσωματωμένα συστήματα. Η παρούσα διατριβή διερευνά τη διασταύρωση βαθιάς μάθησης και αποδοτικότητας σε περιβάλλοντα με περιορισμένους υπολογιστικούς πόρους, με στόχο τη διαμόρφωση ενός ολιστικού πλαισίου για την αποδοτική ανάπτυξη και εκτέλεση συστημάτων τεχνητής νοημοσύνης στις παρυφές του δικτύου. Η έρευνα εστιάζει σε τρεις επιμέρους μελέτες: (α) την ανάπτυξη του CARIn, ενός προσαρμοστικού πλαισίου για την εκτέλεση πολλαπλών νευρωνικών δικτύων σε ετερογενείς κινητές συσκευές, με χρήση τεχνικών βελτιστοποίησης πολλαπλών στόχων· (β) την ενδελεχή αξιολόγηση και προσαρμογή μοντέλων μετασχηματιστών για κινητά περιβάλλοντα, μέσω αρχιτεκτονικών βελτιστοποιήσεων χαμηλού κόστους· και (γ) τη σχεδίαση του A-THENA, ενός αποδοτικού συστήματος ανίχνευσης εισβολών σε IoT δίκτυα, βασισμένου σε μετασχηματιστές με χρονικά ευαίσθητες κωδικοποιήσεις θέσης. Μέσα από αυτές τις συνεισφορές, η διατριβή διαμορφώνει ένα ολοκληρωμένο πλαίσιο για αποδοτική βαθιά μάθηση σε κινητά και ενσωματωμένα υπολογιστικά περιβάλλοντα. Εξερευνώντας τη διασύνδεση μεταξύ της βελτιστοποίησης μοντέλων, της προσαρμογής στο υλικό και των απαιτήσεων πραγματικών εφαρμογών, η έρευνα γεφυρώνει το χάσμα μεταξύ των τελευταίων εξελίξεων στην τεχνητή νοημοσύνη και της πρακτικής τους ανάπτυξης. Τα ευρήματα υπογραμμίζουν ότι η αποδοτικότητα δεν αποτελεί απλώς στόχο βελτιστοποίησης, αλλά θεμελιώδη παράγοντα για το μέλλον της τεχνητής νοημοσύνης, διασφαλίζοντας ότι οι τεχνολογίες βαθιάς μάθησης μπορούν να λειτουργούν απρόσκοπτα, βιώσιμα και ευφυώς σε ένα ευρύ φάσμα υπολογιστικών πλατφορμών.