Building efficient network traffic monitoring systems under heavy load

Abstract

Network traffic monitoring is the basis for a multitude of systems, such as intrusion detection, network forensics, and traffic classification systems, which support the robust, efficient, and secure operation of modern computer networks. However, building efficient network monitoring systems has become a challenging task. Emerging network monitoring applications become more demanding in terms of memory and CPU resources, due to the increasingly complex analysis operations they need to perform on the monitored traffic. Moreover, many network monitoring applications need to analyze the captured traffic at higher protocol layers. This need for reconstructing high-level entities results in increased application complexity and reduced performance. At the same time, the volume of traffic that should be analyzed in today’s network links increases significantly. This leads to a growing demand for more resources to monitor the network traffic at line speeds, while it is very likely that the deployed monitoring systems will become overloaded. Even worse, attackers are able to intentionally overload a network monitoring system to impede its correct operation and pass malicious activities over the network undetected, as the existing systems do not provide protection against such attacks. Therefore, there is an increasing need for building efficient and robust network monitoring systems that will provide intelligent overload control mechanisms, will be able to defend against sophisticated attacks, and will utilize recent advances in the available commodity hardware. In this dissertation we address the above issues, and we propose new techniques and frameworks to improve the performance, accuracy, and robustness of network monitoring systems when processing high volumes of traffic using commodity hardware. Our thesis is that we need to enrich the lower layers of a network monitoring system with intelligence based on flow-level information from the transport layer, in order to build efficient network monitoring systems under heavy load. First, we show that rearranging the captured packet stream based on source and destination port numbers can lead to significant performance benefits due to improved memory access locality. We implement this technique, which we call as locality buffering, within a popular packet capture library, and we show its performance improvements in common network monitoring applications. To improve the accuracy of an overloaded Network-level Intrusion Detection System (NIDS), we suggest to focus on the first few bytes of each connection, a technique we call as selective packet discarding. Our evaluation shows that this approach can significantly improve the effectiveness of a NIDS under extreme load. To defend against overload attacks, we propose selective packet paging: a technique based on a two-layer memory management system to prevent packet loss, and on a randomized detection approach to find and isolate packets attacking the network monitoring system. To fill the semantic gap we identified between monitoring applications, which need to analyze network traffic at higher protocol layers, and monitoring libraries, which deliver just raw IP packets, we present the design, implementation, and evaluation of the Stream capture library (Scap): a new multicore-aware framework for stream-oriented network traffic monitoring. Scap captures and delivers to user-level programs reassembled transport-layer streams, allowing for a wide variety of performance optimizations, such as hardware-assisted stream truncation, prioritized packet loss, and flexible stream reassembly. Finally, we show that our ideas can be applied in other problems of network monitoring systems as well, such as long-term network traffic recording and reducing the detection latency of an energy-efficient NIDS. To build more efficient and secure network monitoring systems, all these techniques we propose rely on the fact that monitoring applications are actually interested in a stream-oriented analysis.

Η εποπτεία της κίνησης ενός δικτύου αποτελεί την βάση για μια πληθώρα συστημάτων, όπως συστήματα ανίχνευσης επιθέσεων, μελέτης ηλεκτρονικών εγκλημάτων, και συστήματα κατηγοριοποίησης της κίνησης του δικτύου. Αυτά τα συστήματα συμβάλλουν σημαντικά στην αξιόπιστη, αποδοτική, και ασφαλή λειτουργία των σύγχρονων δικτύων. ́Ομως η δημιουργία αποδοτικών συστημάτων για εποπτεία δικτύων έχει γίνει ένα αρκετά δύσκολο έργο. Οι σύγχρονες εφαρμογές για εποπτεία δικτύων γίνονται πιο απαιτητικές σε πόρους συστημάτων όπως μνήμη και κύκλοι του επεξεργαστή, εξαιτίας της ολοένα και πιο περίπλοκης ανάλυσης που πρέπει να εφαρμόσουν στην κίνηση του δικτύου που παρακολουθούν. Επιπλέον, πολλές από αυτές τις εφαρμογές πρέπει να αναλύσουν την κίνηση του δικτύου σε πρωτόκολλα υψηλότερων επιπέδων. Αυτή η ανάγκη για την ανασύνθεση μηνυμάτων και οντοτήτων σε υψηλότερα επίπεδα κάνει τις εφαρμογές αυτές πολύ πιο περίπλοκες και μειώνει την απόδοσή τους. Την ίδια στιγμή, ο όγκος της κίνησης που θα πρέπει να αναλυθεί από αυτές τις εφαρμογές αυξάνει σημαντικά στα σημερινά δίκτυα. Αυτό οδηγεί σε μια αυξανόμενη ζήτηση για περισσότερους πόρους για την ανάλυση της κίνησης ενός πολύ γρήγορου δικτύου, ενώ είναι πολύ πιθανό ότι ένα τέτοιο σύστημα εποπτείας θα υπερφορτωθεί. Επιπλέον, ένας κακόβουλος χρήστης μπορεί να υπερφορτώσει σκόπιμα ένα σύστημα εποπτείας ενός δικτύου έτσι ώστε να εμποδίσει την σωστή λειτουργία του και να περάσει απαρατήρητες κακόβουλες δραστηριότητες μέσω αυτού του δικτύου, καθώς τα υπάρχοντα συστήματα δεν παρέχουν προστασία εναντίον τέτοιων επιθέσεων. Επομένως, υπάρχει μια αυξανόμενη ανάγκη για την σχεδίαση και υλοποίηση αποδοτικών και εύρωστων συστημάτων εποπτείας δικτύων τα οποία θα μπορούν να παρέχουν έξυπνους μηχανισμούς για περιπτώσεις υπερφόρτωσης, θα είναι σε θέση να αμυνθούν απέναντι σε εξελιγμένες επιθέσεις, και θα μπορούν να αξιοποιούν αποδοτικά τις δυνατότητες που προσφέρει το hardware. Σε αυτή τη διατριβή αντιμετωπίζουμε τα παραπάνω προβλήματα, και προτείνουμε νέες τεχνικές και συστήματα για την βελτίωση της απόδοσης, της ακρίβειας και της αξιοπιστίας συστημάτων εποπτείας δικτύων όταν αυτά επεξεργάζονται μεγάλο όγκο κυκλοφορίας χρησιμοποιώντας εξοπλισμό χαμηλού κόστους και ευρείας χρήσης. Η θέση μας είναι ότι για να φτιάξουμε αποδοτικά συστήματα εποπτείας δικτύων που έχουν πολύ μεγάλο φόρτο πρέπει να εμπλουτίσουμε τα χαμηλότερα επίπεδα του συστήματος με ευφυΐα που βασίζεται σε πληροφορίες από το επίπεδο μεταφοράς (transport layer). Αρχικά, δείχνουμε ότι η αναδιάταξη της ροής των πακέτων με βάση τους αριθμούς θύρας (port numbers) μπορεί να βελτιώσει σημαντικά την απόδοση λόγω της βελτιωμένης τοπικότητας στις προσπελάσεις μνήμης. Υλοποιήσαμε αυτήν την τεχνική, την οποία ονομάσαμε locality buffering, μέσα σε μια δημοφιλή βιβλιοθήκη για εποπτεία ενός δικτύου, και δείχνουμε την βελτίωση της απόδοσης που προσφέρει σε τυπικές εφαρμογές εποπτείας δικτύων. Για να βελτιώσουμε την ακρίβεια ενός συστήματος ανίχνευσης δικτυακών επιθέσεων που είναι υπερφορτωμένο, προτείνουμε να εστιάσουμε στα πρώτα bytes της κάθε σύνδεσης όταν το σύστημα έχει πολύ μεγάλο φόρτο, μια τεχνική που αποκαλούμε ως επιλεκτική απόρριψη πακέτων. Τα αποτελέσματά μας δείχνουν ότι αυτή η προσέγγιση μπορεί να βελτιώσει σημαντικά την αποτελεσματικότητα ενός συστήματος ανίχνευσης δικτυακών επιθέσεων σε περιπτώσεις πολύ μεγάλου όγκου δεδομένων. Για να αμυνθούμε ενάντια σε επιθέσεις που υπερφορτώνουν σκόπιμα το σύστημα, προτείνουμε μια νέα τεχνική που ονομάσαμε επιλεκτική σελιδοποίηση πακέτων. Αυτή η τεχνική βασίζεται σε ένα σύστημα διαχείρισης μνήμης δύο επιπέδων για να αποτρέψει την απώλεια πακέτων, και σε μια μέθοδο ανίχνευσης αυτών των επιθέσεων που χρησιμοποιεί τυχαιότητα ώστε να εντοπίσει και να απομονώσει τα πακέτα που επιτίθενται στο σύστημα. Επίσης, εντοπίσαμε ένα κενό μεταξύ του τι χρειάζονται οι εφαρμογές εποπτείας ενός δικτύου και του τι προσφέρουν τα συστήματα που υπάρχουν σήμερα: ενώ οι εφαρμογές πρέπει να αναλύσουν την κίνηση του δικτύου σε υψηλότερα πρωτόκολλα, οι υπάρχουσες βιβλιοθήκες παρέχουν απλά IP πακέτα. Για να καλύψουμε αυτό το κενό, παρουσιάζουμε τον σχεδιασμό, την υλοποίηση και την αξιολόγηση της βιβλιοθήκης Scap (Stream capture library). Η Scap παρέχει ένα καινούργιο framework με εγγενή υποστήριξη για συστήματα με πολλούς πυρήνες φτιαγμένο για την ανάλυση της κίνησης ενός δικτύου σε υψηλότερα πρωτόκολλα και βασισμένο στην προγραμματιστική αφαίρεση της ροής (stream). ́Ετσι, η Scap δίνει στις εφαρμογές την κίνηση ενός δικτύου σε ανακατασκευασμένα μηνύματα στο επίπεδο μεταφοράς (transport layer), αντί σε απλά IP πακέτα, επιτρέποντας έτσι πολλές βελτιώσεις στην απόδοση. Επίσης προσφέρει καινούργιες δυνατότητες, όπως περικοπή του μεγέθους μιας ροής με την βοήθεια της κάρτας δικτύου, ορισμός προτεραιοτήτων στις ροές και ευέλικτη ανασύνθεση των πακέτων σε μηνύματα υψηλότερων επιπέδων. Τέλος, δείχνουμε ότι οι ιδέες μας μπορούν να εφαρμοστούν και σε άλλα προβλήματα σχετικά με την εποπτεία δικτύων, όπως είναι η μακροχρόνια καταγραφή της κίνησης και η μείωση του χρόνου ανίχνευσης δικτυακών επιθέσεων σε ένα σύστημα με χαμηλή κατανάλωση ενέργειας. Οπότε, για να φτιάξουμε πιο αποδοτικά και πιο ασφαλή συστήματα εποπτείας, όλες οι παραπάνω τεχνικές που προτείνουμε βασίζονται στο γεγονός ότι οι εφαρμογές ενδιαφέρονται τελικά να αναλύσουν την κίνηση του δικτύου με βάση τις συνδέσεις που υπάρχουν σε υψηλότερα πρωτόκολλα.