Automated monitoring and security services in federated software-defined network infrastructures

Abstract

This dissertation explores technological advances for network programmability and softwarization to implement automated services for network monitoring and security. Its main focus are software-defined schemas pertaining to data collection, anomaly detection and (collaborative) mitigation of large-scale cyber-attacks. Initially, we introduce a monitoring architecture for the collection and processing of network monitoring data exported from dispersed vantage points, i.e. agents within devices. These measurements are used to create centralized and localized monitoring views that enhance visibility into anomalous events. Typically, such processing techniques perform well, but rely on traditional protocols for data extraction. In contrast, data plane programmability presents a promising alternative for rapid data processing and anomaly detection. To that end, the P4 Domain Specific Language is investigated to offload related workloads directly within network hardware. Specifically, we propose an in-network DDoS anomaly detection schema that combines important metrics (flows, packet symmetry) typically associated with malicious traffic. These metrics are maintained per protected subnets and evaluated within time-based epochs to generate alarms for external mitigation systems. In addition to anomaly detection, this dissertation also explores solutions for attack mitigation. As a first step, we propose a framework that distributes filtering rules for multi-vector anomalies to devices across an attack path, enhancing their mitigation potential. Specifically, this is modeled as a combinatorial optimization problem that assigns source-based mitigation actions to devices, considering operator policies for specific attacks and hardware constraints. An important aspect of this work is the automated distribution of rules to heterogeneous multi-vendor environments. To that end, popular techniques for network automation are investigated to seamlessly translate and distribute generic directives to device-specific instructions. Subsequently, the proposed approach is extended to multi-domain scenarios by establishing trusted federations among network providers for collaborative DDoS mitigation. This approach attempts to preserve on-premise resources and prevent saturation of important links by mitigating malicious traffic earlier in the attack path. Our mitigation schema incorporates blockchain-based smart contracts for signaling, coordination and orchestration purposes. Similarly to our earlier efforts, filtering rules for malicious sources are appropriately assigned to federated partners, factoring in the importance of each flow and the reliability of a potential mitigator. Source-based approaches may raise issues primarily in terms of scalability and effectiveness. As an alternative, recent technological advances may be used to create customized and agile solutions that employ IP-agnostic traffic characteristics for DDoS defense. To that end, this dissertation considers a two-level schema for anomaly detection and mitigation. The first level incorporates our P4 approach as a coarse-grained DDoS detection mechanism; triggered alarms are used to identify the suspected attack vector (protocol, port). Accordingly, a second protection level is instantiated tailored to the identified attack vector. Data related to the attack are collected in a fine-grained manner via high performance programmable XDP middleboxes. The collected data are fed to a supervised Machine Learning algorithm, that classifies packets as malicious or benign. Features corresponding to malicious packets are used to create unique signatures, employed for filtering purposes. This approach relies on distinct packet characteristics of malicious traffic and not frequently spoofed source IPs. The proposed mechanisms are evaluated under realistic scenarios in modern experimental setups comprised of P4/XDP-capable hardware, SDN switches, virtual machines and physical servers, using real network data and synthesized traffic traces.

Η παρούσα διδακτορική διατριβή μελετά μεθόδους συλλογής δεδομένων, ανίχνευσης και (συνεργατικής) αντιμετώπισης κυβερνοεπιθέσεων μεγάλης κλίμακας και ιδίως κατανεμημένες επιθέσεις άρνησης παροχής υπηρεσίας. Ιδιαίτερη έμφαση δίνεται σε τεχνολογίες για τον προγραμματισμό των δικτυακών συσκευών καθώς και τον έλεγχο τους μέσω λογισμικού, με στόχο τη δημιουργία αυτοματοποιημένων υπηρεσιών ασφάλειας και συλλογής δεδομένων. Αρχικά, προτείνεται μια αρχιτεκτονική για τη συλλογή δεδομένων από κατανεμημένα σημεία εποπτείας – δικτυακές συσκευές – και την μετέπειτα επεξεργασίας τους. Η ανάλυση αυτών γίνεται με απώτερο σκοπό την αυξημένη ικανότητα ανίχνευσης κεντρικών ή τοπικά εστιασμένων δικτυακών ανωμαλιών. Σε δεύτερο χρόνο μελετάται το P4, μια γλώσσα ειδικού σκοπού για το ριζικό προγραμματισμό των δικτυακών συσκευών. Η μελέτη εστιάζει στη μεταφορά μηχανισμών ανίχνευσης επιθέσεων απευθείας στο υλικό όπου και θα εκτελούνται κατανεμημένα, με στόχο την ταχύτερη επεξεργασία δεδομένων. Κατ’ επέκταση, προτείνεται ένας αλγόριθμος ανίχνευσης που συνδυάζει συνήθεις μετρικές (μοναδικές ροές – flows, συμμετρία κίνησης) για ανίχνευση επιθέσεων DDoS. Αυτές οι μετρικές διατηρούνται ανά προστατευόμενο πόρο (κόμβο, υποδίκτυο) σε διάφορα επίπεδα ευκρίνειας και αξιολογούνται ανά τακτά διαστήματα για την έγκαιρη αποστολή μηνυμάτων σε εξωτερικά συστήματα αντιμετώπισης επιθέσεων. Μετά την ανίχνευση των επιθέσεων είναι αναγκαία η αποτελεσματική αντιμετώπιση τους. Αρχικά, ο επόμενος θεματικός άξονας της διατριβής εισάγει έναν μηχανισμό ανάθεσης κανόνων για την αποκοπή ετερογενών επιθέσεων (multi-vector attacks). Βασικός στόχος είναι η ευέλικτη και συνολικά αποδοτικότερη αντιμετώπιση της κακόβουλης κίνησης σε διάφορες συσκευές κατά μήκος του ίχνους της επίθεσης. Συγκεκριμένα, η ανάθεση μοντελοποιείται σαν ένα συνδυαστικό πρόβλημα βελτιστοποίησης ακέραιου προγραμματισμού, με γνώμονα διαχειριστικές πολιτικές και δυνατότητες των δικτυακών συσκευών. Μια σημαντική πτυχή αυτής της προσέγγισης είναι η αυτοματοποιημένη κατανομή κανόνων σε ετερογενή περιβάλλοντα που απαρτίζονται από συσκευές πολλαπλών κατασκευαστών. Συνεπώς, μελετήθηκαν σύγχρονες τεχνικές δικτυακού αυτοματισμού για τη μετάφραση γενικών κανόνων σε ειδικού τύπου οδηγίες και τη διανομή τους στις αντίστοιχες συσκευές. Έπειτα, η προσέγγιση αυτή επεκτείνεται σε πολλαπλές διαχειριστικές περιοχές – Αυτόνομα Συστήματα – με τη μορφή ενός ομόσπονδου περιβάλλοντος για παρόχους δικτυακών υπηρεσιών. Βασικός στόχος είναι η προστασία εξωτερικών ζεύξεων καθώς και οικείων, εντός ΑΣ, αμυντικών μηχανισμών. Η αρχιτεκτονική ενσωματώνει έξυπνα ψηφιακά συμβόλαια (smart contracts) αποτυπωμένα σε αλυσιδωτές δομές συναλλαγών (Blockchain) για την σηματοδοσία, τον συντονισμό και την ενορχήστρωση του συνεργατικού μηχανισμού άμυνας. Η ανάθεση κανόνων αποκοπής στους ομόσπονδους εταίρους γίνεται με γνώμονα τη σημασία της κάθε κακόβουλης ροής καθώς και την αξιοπιστία του πιθανού συνεργάτη-εταίρου. Οι προσεγγίσεις για ανίχνευση και αντιμετώπιση επιθέσεων πιθανώς να αντιμετωπίσουν προβλήματα κλίμακας και επίδοσης, κυρίως λόγω ψευδεπίγραφων διευθύνσεων IP. Με αφορμή αυτό το πρόβλημα, το τελευταίο κομμάτι της διατριβής εστιάζει σε ένα μηχανισμό δυο επιπέδων ο οποίος προσφέρει εξειδικευμένους και κλιμακώσιμους μηχανισμούς αντιμετώπισης επιθέσεων. Το πρώτο επίπεδο βασίζεται στην προγενέστερη προσπάθεια στην γλώσσα P4 και χρησιμοποιείται για την πρωτογενή αναγνώριση του τύπου της επίθεσης και του αμυνόμενου-θύματος. Στην συνέχεια, το δεύτερο επίπεδο προσαρμόζεται στην περίσταση με χρήση προγραμματιζόμενων ενδιάμεσων συσκευών βασισμένες στο περιβάλλον XDP (eXpress Data Path). Δεδομένα που σχετίζονται με την επίθεση συλλέγονται με υψηλή ευκρίνεια και εισάγονται σε ένα μηχανισμό επιβλεπόμενης μηχανικής μάθησης ο οποίος και τα κατηγοριοποιεί ως καλόβουλα ή κακόβουλα. Οι κακόβουλοι συνδυασμοί αποτελούν συνοπτική περιγραφή της επίθεσης και χρησιμοποιούνται για την αποκοπή της. Σημαντικό σημείο διαφοροποίησης είναι πως οι περιγραφές βασίζονται σε εγγενή χαρακτηριστικά της εκάστοτε επίθεσης και όχι σε διευθύνσεις IP. Οι προτεινόμενοι μηχανισμοί αξιολογήθηκαν κάτω από ρεαλιστικές συνθήκες με χρήση πραγματικών δεδομένων καθώς και συνθετικής κίνησης. Η αξιολόγηση τους έγινε σε σύγχρονες πειραματικές υποδομές βασισμένες σε υλικό συμβατό με το P4 και το XDP, μεταγωγείς SDN, καθώς και υπολογιστικούς κόμβους.