Unsupervised outlier detection: new approaches for robust ensembles and interpretability

Abstract

Outlier detection (OD) is crucial for identifying anomalies in fields like fraud detection, network security, and medical diagnostics. However, model selection and interpretability remain significant challenges in unsupervised settings. This thesis addresses these challenges by introducing methodologies for improved model selection and interpretability. First, a meta-learning ensemble framework is introduced for improved model selection. This framework treats outlier scores from multiple detectors as features and employs unsupervised feature selection to identify the most informative detectors for a given dataset. The selected detectors are then combined through an ensemble voting approach. Second, a taxonomy of interpretability methods is presented. This taxonomy categorizes existing techniques based on their scope (local vs. global), model dependency (model-agnostic vs. model-specific), and whether they are applied during or after model training (intrinsic vs. post hoc). The taxonomy also considers applicability across diverse data types, including tabular, text, image, and graph data. Finally, an unsupervised OD method is proposed that leverages both the density estimation capabilities of normalizing flows and the interpretability of decision trees. The method uses normalizing flows to generate pseudo-labels, which then train a decision tree classifier. This provides clear, rule-based classification boundaries for outlier detection, informed by the underlying data density. These contributions collectively facilitate the development of unsupervised OD systems with improved model selection, enhanced interpretability, and a clearer understanding of the underlying decision-making process, ultimately supporting the deployment of these systems in critical real-world applications.

Η ανίχνευση ανωμαλιών κατέχει καίρια θέση σε πολλούς τομείς, όπως η αναγνώριση απάτης, η ασφάλεια δικτύων και η ιατρική διάγνωση. Ωστόσο, η διαδικασία επιλογής μοντέλου και η ερμηνευσιμότητα των αποτελεσμάτων αποτελούν σημαντικές προκλήσεις, ιδίως σε περιβάλλοντα μη επιβλεπόμενης μάθησης, όπου απουσιάζουν ετικετοποιημένα δεδομένα. Η παρούσα διατριβή επιδιώκει να δώσει απαντήσεις σε αυτές τις προκλήσεις, παρουσιάζοντας καινοτόμες μεθοδολογίες για την αποτελεσματικότερη επιλογή μοντέλου σε ομάδες ταξινομητών και για την ενίσχυση της ερμηνευσιμότητας. Σε πρώτη φάση, εισάγεται μια μέθοδος μετα-μάθησης για την επιλογή μοντέλων σε ομάδες ταξινομητών ανωμαλιών. Η προσέγγιση αυτή αξιοποιεί τις προβλέψεις που παράγονται από πολλαπλούς επιμέρους ταξινομητές, θεωρώντας τες ως ένα νέο σύνολο χαρακτηριστικών. Στη συνέχεια, εφαρμόζει τεχνικές επιλογής χαρακτηριστικών χωρίς επίβλεψη σε αυτά τα μετα-χαρακτηριστικά, με στόχο να εντοπίσει τους ταξινομητές που αποδεικνύονται πιο συναφείς με την εγγενή δομή του εκάστοτε συνόλου δεδομένων. Οι επιλεγμένοι ταξινομητές συνδυάζονται τελικά μέσω μιας στρατηγικής ψηφοφορίας, αξιοποιώντας έτσι τη συλλογική τους γνώση για την τελική ανίχνευση. Σε δεύτερο επίπεδο, παρουσιάζεται μια λεπτομερής ταξινομία των διαθέσιμων μεθόδων ερμηνευσιμότητας. Η ταξινομία αυτή κατηγοριοποιεί τις υπάρχουσες τεχνικές με βάση κριτήρια όπως το εύρος της ερμηνείας (τοπική για μεμονωμένες προβλέψεις ή καθολική για ολόκληρο το μοντέλο), η εξάρτηση από το συγκεκριμένο μοντέλο (ανεξάρτητες ή ειδικές για έναν τύπο μοντέλου) και ο χρόνος εφαρμογής: είτε κατά την εκπαίδευση (εγγενείς μέθοδοι) είτε μετά την εκπαίδευση (μέθοδοι εκ των υστέρων). Επιπλέον, η ταξινομία λαμβάνει υπόψη την εφαρμοσιμότητα των μεθόδων σε διάφορους τύπους δεδομένων, όπως πίνακες, κείμενο, εικόνες και δεδομένα γραφημάτων. Τέλος, προτείνεται μια νέα μέθοδος ανίχνευσης ανωμαλιών χωρίς επίβλεψη που συνδυάζει τα πλεονεκτήματα των ροών κανονικοποίησης στην εκτίμηση της πυκνότητας των δεδομένων και την ερμηνευσιμότητα των δέντρων αποφάσεων. Η μέθοδος χρησιμοποιεί ροές κανονικοποίησης για τη δημιουργία ενός συνθετικού συνόλου δεδομένων με ψευδο-ετικέτες, οι οποίες υποδεικνύουν πιθανές ανωμαλίες. Στη συνέχεια, αυτό το σύνολο δεδομένων αξιοποιείται για την εκπαίδευση ενός δέντρου απόφασης. Η προσέγγιση αυτή παρέχει σαφή όρια ταξινόμησης που βασίζονται σε κανόνες, διευκολύνοντας την κατανόηση των κριτηρίων με τα οποία εντοπίζονται οι ανωμαλίες. Συνολικά, η παρούσα διατριβή συμβάλλει στην πρόοδο των μη επιβλεπόμενων συστημάτων ανίχνευσης ανωμαλιών μέσω της βελτίωσης της διαδικασίας επιλογής μοντέλου για πιο ισχυρές ομάδες ταξινομητών, της ενίσχυσης της ερμηνευσιμότητας των αποτελεσμάτων και της παροχής μιας πιο ξεκάθαρης κατανόησης της διαδικασίας λήψης αποφάσεων. Με αυτόν τον τρόπο, ενισχύεται η ευρύτερη και πιο αξιόπιστη χρήση αυτών των συστημάτων σε κρίσιμους τομείς της καθημερινότητας.