Real time detection and response of distributed denial of service attacks for web services

Abstract

DDoS attacks is a major threat that targets companies and organizations on a daily basis, as reported in the 2012 Information Security Breaches Survey, with the most common target being Web Services. Additionally, the raise of the activism group “Anonymous” and the availability and easiness of DDoS tools in the Internet made this dangerous attacks very popular and reachable for the masses. According to Arbor Networks a DDoS attack can last anywhere between 2 and 6 hours. From the companies prospective, the downtime of their web services, as a result of such an attack, lead companies into loosing valuable profit and customers. In this dissertation a method for DDoS detection by constructing a fuzzy estimator on the mean packet inter arrival times is proposed. The problem is divided into two challenges, the first being the actual detection of the DDoS event taking place and the second being the identification of the offending IP addresses. Strict real time constraints were imposed for the first challenge and more relaxed constraints for the identification of addresses. Through empirical evaluation it is confirmed that the detection can be completed within improved real time limits and that by using fuzzy estimators instead of crisp statistical descriptors the shortcomings posed by assumptions on the model distribution of the traffic can be avoided. In addition, results under a 3 second detection window were obtained. To overcome the problem of IP Spoofing in a DDoS attack a new method was introduced using Fuzzy Logic called Fuzzy Hybrid Spoofed Detector(FHSD). This method distinguishes the spoofed IPs packets reaching a web server from legitimate packets by analyzing the hops, which the packets pass through, the User Agent and by utilizing OS passive fingerprinting. In order to proof the proposed method’s efficiency a program was developed that uses our technique and it was tested by using the BoNeSi DDoS emulator. The results showed that the proposed method can successfully identify the spoofed IPs and mitigate a DDoS attack in a small amount of time and with low use of resources. Finally, an on scene digital investigation on computers was conducted, which were part of the Botnet that attacked our infrastructures. In order to achieve that, three open source triage tools were put to the test. In an attempt to identify common issues, strengths and limitations they were evaluated both in terms of efficiency and compliance to published forensic principles. The results showed that due to the increased complexity and wide variety of system configurations, the tested triage tools should be made more adaptable, either dynamically or manually (depending on the case and context) instead of maintaining a monolithic functionality.

Οι κατανεμημένες επιθέσεις διαθεσιμότητας (DDoS) αποτελούν μια από τις σημαντικότερες απειλές που καλούνται να αντιμετωπίσουν οι επιχειρήσεις και οι οργανισμοί, οι οποίες τις επηρεάζουν σε καθημερινή βάση, όπως αναφέρεται στην Δημοσκόπηση πληροφοριών παραβίασης ασφαλείας του 2012[PwC (2012) “Information Security Breaches Technical Report”, April 2012]. Σε έρευνα που έγινε από την Tecdata για λογαριασμό της Arbor Networks το 2012[Techdata. (2011) Worldwide Infrastructure Security Report, Arbor Networks 2011 Volume VII], αναφέρεται σαν πιο συχνός στόχος DDoS επιθέσεων οι ιστοσελίδες διαφόρων εταιριών και οργανισμών. Την έξαρση αυτή των DDoS επιθέσεων σε ιστοσελίδες βοήθησε και η άνθιση των κινημάτων χακτιβιστών όπως οι Anonymous. Τα προβλήματα και προκλήσεις των DDoS επιθέσεων σε web υπηρεσίες είναι:•η ανίχνευση, ειδικά όταν η επίθεση συνοδεύεται με IP Spoofing•η καταστολή της επίθεσης•η εύρεση των bots και του C&C ServerΣτη διατριβή αυτή, προτείνεται μια νέα μέθοδο ανίχνευσης επιθέσεων DDoS που επιτυγχάνεται με τη σύνθεση ενός fuzzy estimator με βάση το χρόνο άφιξης των πακέτων. Το πρόβλημα χωρίστηκε σε δυο προκλήσεις από τις οποίες η πρώτη αφορά την πραγματική ανίχνευση DDoS εκδηλώσεων που διαδραματίζονται, ενώ η δεύτερη αφορά στην ταυτοποίηση των παραβιασμένων IP διευθύνσεων. Για την πρώτη πρόκληση έχουμε επιβάλλει αυστηρούς περιορισμούς σε πραγματικό χρόνο και πιο χαλαρούς περιορισμούς για την ταυτοποίηση των διευθύνσεων. Μέσω εμπειρικής εκτίμησης επιβεβαιώσαμε ότι η ανίχνευση μπορεί να εκτελεστεί μέσα σε όρια πραγματικού χρόνου και ότι χρησιμοποιώντας fuzzy estimators αντί των crisp statistical descriptors μπορούμε να χαλαρώσουμε τις απαιτήσεις και υποθέσεις του μοντέλου διαδικτυακής κίνησης (όπως το poisson). Επιπλέον κατορθώσαμε να επιτύχουμε αποτελέσματα σε διάστημα κάτω των 3 sec.Η πλαστογράφηση των διευθύνσεων IP (IP Spoofing) χρησιμοποιείται συχνά σε επιθέσεις DDoS για να προστατεύσει την ταυτότητα των επιτιθέμενων bots αλλά και να αντιμετωπίζει επιτυχώς ελέγχους και φίλτρα που στηρίζονται σε πρωτόκολλα Διαδικτύου (IP). Για την αντιμετώπιση του αυτού του φαινομένου στη διατριβή αυτή προτείνεται ένα νέο πολυεπίπεδο μηχανισμό ανίχνευσης κακόβουλου IP Spoofing, που ονομάζεται Fuzzy Hybrid Spoofing Detector (FHSD) και ο μηχανισμός αυτός στηρίζεται σε Source MAC Address, μετρητή απόστασης των Hop, GeoIP, OS Passive Fingerprinting και στον φυλλομετρητή του χρήστη (Web Browser User Agent). Ο αλγόριθμος μέτρησης της απόστασης των Hop έχει βελτιστοποιηθεί ώστε να περιορίσει την ανάγκη για συνεχείς αιτήσεις traceroute υποβάλλοντας ερωτήσεις στο υποδίκτυο του πρωτοκόλλου Διαδικτύου (IP Address Subnet) και πληροφοριών GeoIP αντί για διευθύνσεις πρωτοκόλλου Διαδικτύου (individual IP Addresses). Ο μηχανισμός FHSD χρησιμοποιεί εμπειρικούς κανόνες και τη μέθοδο Fuzzy Largest of Maximum (LoM) για τον εντοπισμό επιθέσεων σε IPs και μειώνει την κακόβουλη κίνηση δεδομένων. Το προτεινόμενο σύστημα αναπτύχτηκε και υποβλήθηκε σε δοκιμές με τον εξομοιωτή DDoS, BoNeSi με ιδιαίτερα ενθαρρυντικά αποτελέσματα τόσο στην ανίχνευση όσο και στην απόδοση. Πιο συγκεκριμένα, ο μηχανισμός FHSD ανέλυσε 10,000 πακέτα και αναγνώρισε σωστά 99,99% της κακόβουλης κίνησης δεδομένων (spoofed traffic) σε λιγότερο από 5 δευτερόλεπτα. Επιπλέον, μείωσε την ανάγκη για αίτησης traceroute κατά 97%.Κλείνοντας την διατριβή προχωράμε στην μελέτη αποτελεσματικότητας open source triage εργαλείων, για forensic ανάλυση και εύρεση τεκμηρίων συμμετοχής σε botnet. Η προσέγγιση είναι επικουρική και γίνεται προς χάριν πληρότητας της διαδικασίας ανίχνευσης των επιθέσεων. Λαμβάνοντας υπόψη ότι η άμεση και γρήγορη διαλογή δεδομένων/πειστηρίων κατά την απόκριση ενός περιστατικού ασφάλειας μπορεί κατά κύριο λόγο να συμβάλλει στην επιτυχία ή να καταστρέψει μια εγκληματολογική έρευνα αλλά και το γεγονός ότι ένας αριθμός εγκληματολογικών εργαλείων διατίθεται στο διαδίκτυο ελεύθερα χωρίς να υπάρχει μέχρι στιγμής κάποιο δοκιμασμένο framework για τη δοκιμή και αξιολόγηση τους, η παρούσα διατριβή θέτει υπό δοκιμή τρεις ανοιχτές πηγές εγκληματολογικών εργαλείων. Σε μια προσπάθεια να προσδιορίσουμε την ταυτότητα κοινών προβλημάτων, πλεονεκτημάτων και μειονεκτημάτων, τα αξιολογούμε σε αντιστοιχία ως προς την αποδοτικότητα και την αξιοπιστία τους ως προς κοινά αποδεκτές αρχές εγκληματολογικής διερεύνησης. Τα αποτελέσματα που προκύπτουν από τις δοκιμές δείχνουν πως εξαιτίας της αυξανόμενης πολυπλοκότητας και της μεγάλης ποικιλίας παραμέτρων συστήματος, τα εγκληματολογικά εργαλεία θα έπρεπε να είναι περισσότερο προσαρμόσιμα, είτε δυναμικά είτε χειροκίνητα (ανάλογα με την περίπτωση και το περιεχόμενο).