Identification of events on encrypted network traffic and characterization of malicious servers on the internet

Abstract

The growing adoption of network encryption protocols, like TLS, has altered the scene of network traffic monitoring. With the advent and rapid increase in network encryption mechanisms, typical deep packet inspection systems that monitor network packet payload contents are gradually becoming obsolete, while in the meantime, adversaries abuse the utilization of the TLS protocol to bypass them. In this work, we propose a pattern language to describe packet sequences for the purpose of fine-grained identification of events even in encrypted network traffic. The first use case for our pattern language is the identification of application-level events in encrypted network traffic. We demonstrate its expressiveness with case studies for distinguishing messaging, voice, and video events in Facebook, Skype, Viber, and WhatsApp network traffic. The second use case for our pattern language is the identification of intrusions and suspicious events in encrypted network traffic. Similarly, we investigate its expressiveness with case studies for distinguishing events originating from penetration tools, such as password cracking, or botnet communications. We provide an efficient implementation for the proposed pattern language, which we integrate into two different DPI systems. We evaluate the proposed pattern language with respect to the level of expressiveness and the processing performance. Finally, we demonstrate that the proposed language can be mined from traffic samples automatically, minimizing the otherwise high ruleset maintenance burden. Except for our passive analysis approach, we actively contact IP addresses known to participate in malicious activities, since we aim to understand the botnet ecosystem in the wild. We utilize an open-source tool for active probing and TLS fingerprint construction. Based on packets acquired from TLS handshakes, server fingerprints are constructed during a time period of 7 months. The fingerprints express servers’ responses to a sequence of several ‘‘TLS Client Hello’’ packets with different TLS attributes and we investigate if it is feasible to detect suspicious servers and re-identify other similar within blocklists with no prior knowledge of their activities. Based on our findings, we can see that fingerprints originating from suspicious servers are repetitive among similarly configured servers, while it is rare to overlap with fingerprints that correspond to legitimate domains. The findings of our measurement study encourage the utilization of actively generated TLS fingerprints for detecting malicious command and control servers in the wild. Subsequently, we present the literature that manages to perform network traffic analysis and inspection after the ascent of encryption. We observe that the research community has already started proposing solutions on how to perform inspection even when the network traffic is encrypted and we review these works. We present the techniques and methods that these works use and their limitations. Lastly, we do not omit to examine the countermeasures that have been proposed to circumvent traffic analysis and we discuss about our system’s limitations related to traffic analysis resistance.

Η συνεχώς αναπτυσσόμενη καθιέρωση των πρωτοκόλλων για την κρυπτογράφηση της κίνησης του δικτύου (όπως το TLS πρωτόκολλο), έχει αλλάξει τα δεδομένα στην εποπτεία του δικτύου. Με τη ραγδαία αύξηση των μηχανισμών κρυπτογράφησης, τα παραδοσιακά συστήματα για επιθεώρηση της κίνησης του δικτύου που στηρίζονται στην επεξεργασία των περιεχομένων των πακέτων, σταδιακά χάνουν την αποτελεσματικότητα τους, καθώς παράλληλα, κακόβουλοι χρήστες του δικτύου εκμεταλλεύονται την κρυπτογράφηση για να κρύψουν τις δραστηριότητες τους και να αποφύγουν την ανεύρεση της παρουσίας τους. Σε αυτήν την εργασία, προτείνουμε μία γλώσσα προτύπων για να περιγράψουμε τα μοτίβα που υπάρχουν στις ακολουθίες πακέτων δικτύου, με σκοπό τη λεπτομερή ανίχνευση συμβάντων ακόμα και σε κίνηση δικτύου που έχει κρυπτογραφηθεί. Η πρώτη περίπτωση χρήσης που εξετάζουμε είναι η λεπτομερής ανίχνευση δραστηριότητας εφαρμογών δικτύωσης χρηστών και επικοινωνίας. Δείχνουμε πως είναι δυνατή η δημιουργία μίας τέτοιας γλώσσας που να περιγράφει με εκφραστικότητα ενέργειες όπως την ανταλλαγή μηνυμάτων και την επικοινωνία μέσω κλήσης ή βιντεοκλήσης χρησιμοποιώντας τις διαδεδομένες εφαρμογές Facebook, Skype, Viber, WhatsApp. Μία δεύτερη περίπτωση χρήσης για τη γλώσσα προτύπων που προτείνουμε είναι η ανίχνευση περιστατικών εισβολών σε συστήματα εποπτεύοντας κίνηση δικτύου που είναι κρυπτογραφημένη. 'Οπως και στην προηγούμενη περίπτωση, εξετάζουμε αν είναι εφικτό, και αν ναι σε τι λεπτομέρεια, να αναγνωρίσουμε τη δραστηριότητα που προέρχεται από εργαλεία διείσδυσης (penetration tools) ή επικοινωνία δικτύων προγραμμάτων ρομπότ (botnets). Παρέχουμε μία αποδοτική υλοποίηση για αυτήν την γλώσσα προτύπων, την οποία ενσωματώνουμε σε δύο διαφορετικά συστήματα επιθεώρησης κίνησης του δικτύου. Αξιολογούμε την υλοποίηση μας χρησιμοποιώντας τα κριτήρια της απόδοσης τόσο σε επίπεδο ορθότητας και ακρίβειας, όσο και σε επίπεδο επιδόσεων. Τέλος, δείχνουμε πως η γλώσσα που προτείνουμε μπορεί να "εξορυχθεί" (data mining) αυτόματα, περιορίζοντας το φόρτο εργασίας για τη διαμόρφωση και συντήρηση ενός μεγάλου συνόλου από πρότυπα.Η διαδικασία που αναφέραμε στην παραπάνω παράγραφο, περιγράφεται από μία παθητικού τύπου εποπτεία και ανάλυση των πακέτων δικτύου. Επιπρόσθετα, χρησιμοποιήσαμε μία πιο παρεμβατική μέθοδο, έτσι ώστε να επικοινωνήσουμε με εξυπηρετητές μέσω διευθύνσεων IP που βρίσκονται διαθέσιμες σε δημόσιες λίστες με πληροφορίες για κακόβουλες δραστηριότητες. Ο σκοπός μας είναι να καταλάβουμε το οικοσύστημα των δικτύων προγραμμάτων ρομπότ (botnets). Συγκεκριμένα, χρησιμοποιούμε ένα εργαλείο ανοικτού κώδικα για να παράξουμε αποτυπώματα TLS για κάθε ένα από τους εξυπηρετητές που επικοινωνούμε. Στην έρευνα μας καταφέραμε να συλλέξουμε πληροφορίες σε ένα διάστημα 7 μηνών. Τα αποτυπώματα αυτά εκφράζουν τις απαντήσεις των εξυπηρετητών σε μία αλληλουχία από 10 "TLS Client Hello" μηνύματα με διαφορετικά χαρακτηριστικά (π.χ. έκδοση TLS, επιλεγμένος αλγόριθμος κρυπτογράφησης κ.τ.λ.). Αυτό που ϑέλουμε να εξετάσουμε είναι η δυνατότητα να αναγνωρίσουμε την ιδιότητα και δραστηριότητα αυτών των εξυπηρετητών χρησιμοποιώντας μόνο αυτά τα αποτυπώματα, μέσα σε λίστες από αποτυπώματα για τα οποία δεν έχουμε πρωτύτερη γνώση. Μέσω των αποτελεσμάτων μας, βλέπουμε πως τα αποτυπώματα που υπολογίζονται, επαναλαμβάνονται μεταξύ εξυπηρετητών που συμμετέχουν στην ίδια οικογένεια δικτύων προγραμμάτων ρομπότ (botnets). Επίσης βλέπουμε πως σπάνια αλληλοεπικαλύπτονται με αποτυπώματα από εξυπηρετητές για τους οποίους είναι γνωστή η ορθή χρήση τους. Τα ευρήματα αυτά μας παροτρύνουν να χρησιμοποιήσουμε αυτή τη μεθοδολογία για να αναγνωρίζουμε και να ταυτοποιούμε εξυπηρετητές που εμπλέκονται σε κακόβουλες δραστηριότητες. Στη συνέχεια, παρουσιάζουμε μία εκτενή βιβλιογραφική μελέτη σχετικά με τα εργαλεία για την εποπτεία του δικτύου μετά την καθιέρωση των πρωτοκόλλων κρυπτογράφησης. Αυτό που παρατηρούμε είναι πως παρόλο που η επιστημονική κοινότητα έχει προτείνει μία πληθώρα τεχνικών για το σκοπό αυτό, υπάρχουν ακόμα ελλείψεις και μειονεκτήματα.Τέλος, δεν παραλείπουμε να εξετάσουμε τις τεχνικές που υπάρχουν για την αποτροπή της ανάλυσης των κρυπτογραφημένων επικοινωνιών σε περιπτώσεις κακόβουλης χρήσης και λογοκρισίας. Συζητάμε αν το σύστημα μας μπορεί να ανταπεξέλθει σε τέτοιες περιπτώσεις.