Μελέτη της επίδρασης δειγματοληψίας στη διαδικασία ανίχνευσης ανωμαλιών στο διαδίκτυο

Abstract

In this work we study and evaluate the effect of sampling on the field of network anomaly detection in the Internet. Most of the existing work on sampling is related to general network management functions and focuses on the study of some general statistical traffic properties such as flow size distribution, average flow size, or total number of flows in a sample of network data. In the present thesis a novel sampling methodology suitable for application on the field of network anomaly detection is proposed and analyzed. The idea of the proposed sampling method is based on the observation that most of the network anomalies are caused by small flows (with a small number of packets). The proposed method is named “Selective Sampling” and it focuses on the dynamic and preferential selection of small flows (in packets) which are usually the source of many network attacks such as Distributed Denial of Service (DDoS) Attacks and worm propagation. In addition, we propose and analyze a method of two-stage sampling, combining suitably the sampling of flows and packets, while making use of the proposed “Selective Sampling” method. The results show that the proposed approach improves significantly the anomaly detection effectiveness, while at the same time decreases the number of selected data. Moreover, we study the effect of “Intelligent Sampling Methods” in the detection and classification of various anomalies on the network. We show that through sampling techniques that opportunistically and preferentially sample traffic data we achieve to “magnify” the appearance of anomalies within the sampled data set and therefore improve their detection. Therefore, the inherently “lossy” sampling process is transformed to an advantageous feature in the anomaly detection case, allowing the revealing of anomalies that would be otherwise untraceable and thus becoming the vehicle for efficient anomaly detection and classification. The evaluation of the proposed sampling methods is achieved through the use of different anomaly detection techniques on real network data that have been collected from the link that connects the National Technical University of Athens (NTUA) with the Greek Research and Technology Network (GRNET).

Στα πλαίσια της παρούσας διδακτορικής διατριβής γίνεται μελέτη της επίδρασης της δειγματοληψίας πάνω στο πεδίο της ανίχνευσης ανωμαλιών στο περιβάλλον του Διαδικτύου. Η ερευνητική προσπάθεια σχετικά με την δειγματοληψία που έχει γίνει μέχρι σήμερα αφορά γενικές διαχειριστικές εφαρμογές σε ένα δίκτυο και εστιάζει κυρίως στη μελέτη διάφορων στατιστικών στοιχείων κίνησης όπως είναι η κατανομή του μεγέθους των ροών πακέτων, του μέσου μήκους ροής, του συνολικού αριθμού ροών, κτλ. σε ένα δείγμα δεδομένων κίνησης δικτύου. Στην παρούσα διατριβή προτείνεται και αναλύεται μια μεθοδολογία δειγματοληψίας κατάλληλη για εφαρμογή στο πεδίο της ανίχνευσης ανωμαλιών στο περιβάλλον του Διαδικτύου. Η ιδέα της συγκεκριμένης δειγματοληπτικής μεθόδου βασίζεται στην παρατήρηση ότι οι περισσότερες από τις ανωμαλίες του δικτύου προκαλούνται από μικρές ροές (με μικρό αριθμό πακέτων). Η προτεινόμενη μέθοδος ονομάζεται «Επιλεκτική Δειγματοληψία» και εστιάζει στην δυναμική και προνομιακή επιλογή των μικρών ροών (σε πακέτα) στις οποίες και παρουσιάζονται ανωμαλίες όπως είναι οι επιθέσεις άρνησης υπηρεσίας (DDoS attacks) και οι αυτοδιαδιδόμενοι ιοί (worm propagation). Επιπρόσθετα, προτείνουμε και αναλύουμε μια μέθοδο δειγματοληψίας δύο σταδίων, συνδυάζοντας κατάλληλα τη δειγματοληψία ροών και πακέτων, και κάνοντας χρήση της «Επιλεκτικής Δειγματοληψίας». Τα αποτελέσματα καταδεικνύουν ότι η προτεινόμενη προσέγγιση βελτιώνει σε μεγάλο βαθμό την αποτελεσματικότητα της ανίχνευσης ανωμαλιών, ενώ συγχρόνως μειώνει τον αριθμό των επιλεγέντων δεδομένων. Στη συνέχεια, γίνεται μελέτη της επίδρασης «Ευφυών Δειγματοληπτικών Μεθόδων» στην ανίχνευση και κατηγοριοποίηση διαφόρων ανωμαλιών δικτύου. Συγκεκριμένα, δείχνουμε πως μέσα από συγκεκριμένες δειγματοληπτικές μεθόδους επιτυγχάνουμε την «μεγέθυνση» των ανωμαλιών, και επομένως την αποτελεσματικότερη ανίχνευσή τους. Με αυτόν τον τρόπο, η δειγματοληψία από μία διαδικασία με απώλειες πληροφοριών από το σύνολο των δεδομένων, μετατρέπεται σε ένα ευεργετικό χαρακτηριστικό γνώρισμα στην περίπτωση της ανίχνευσης ανωμαλιών δικτύου, επιτρέποντας την ανίχνευση ανωμαλιών οι οποίες δεν θα ήταν ανιχνεύσιμες σε άλλη περίπτωση, προσδίδοντας μεγαλύτερη αποτελεσματικότητα στην ανίχνευση και κατηγοριοποίηση των ανωμαλιών δικτύου. Η αξιολόγηση των προτεινόμενων δειγματοληπτικών μεθόδων πραγματοποιείται με την εφαρμογή τους σε διαφορετικές τεχνικές ανίχνευσης ανωμαλιών σε πραγματικά δεδομένα δικτύου που έχουν συλλεχθεί από τη σύνδεση του δικτύου του Εθνικού Μετσόβιου Πολυτεχνείου (ΕΜΠ) με το Εθνικό Δίκτυο Έρευνας και Τεχνολογίας (ΕΔΕΤ).