Local interpretation of machine learning models

Abstract

While Artificial Intelligence paves the way for new advancements and opens up new possibilities, its use in certain domains may be prohibited. Indeed, when human lives are at stake, AI-driven systems' decisions must be reliable and trustworthy. Explainability is one way to meet these criteria. However, in order to achieve user-level explainability, interpretability concerns must be addressed first. This is especially noticeable in AI systems comprised of machine learning pipelines. Although some models are intrinsically interpretable, the top performing ones are uninterpretable. Random forest models, for example, are complex models that excel at tasks like fraud detection and disease probability prediction. Even though their subcomponents, the decision trees, can be interpreted, random forests cannot inherently provide reasons for their decisions. Furthermore, neural networks that achieve superhuman abilities in analysing both structured and unstructured data are almost always uninterpretable by design because of their large number of parameters. These models perform amazingly well at many tasks, including hate speech recognition and predictive maintenance. This thesis investigates both models, seeking to address their interpretability issues. Starting with neural networks, to address their interpretability, LioNets, a technique that actively considers the neural network's architecture and latent representations, was developed. LioNets, which have been tested on textual and time-series data, produce neighbours in the latent space to ensure adjacency between the generated neighbours and an instance whose prediction attempts to interpret. LionForests was designed to explain random forests models, providing rules as explanations. To accomplish so, it makes use of the model's knowledge, extracting every decision path from all the trees regarding a decision and effectively combining them to build a rule of low complexity. Originally developed for binary classification tasks, this technique has been extended to cope with multi-class and multi-label classification, as well as regression tasks. By introducing such techniques, to enable complex models' interpretability across several supervised tasks, specific properties were taken into account in the process, while new ones like conclusiveness have been introduced. The latter, which is strictly related to rule-based explanations, ensures that the explanation does not contain misleading or incorrect elements. To evaluate the performance of these new techniques, several metrics from the literature have been employed, as well as a few novel ones proposed. The truthfulness metric, in particular, was introduced as a variation of faithfulness, with the goal of simulating curious users who will evaluate on their own whether an explanation is correct or not. In the context of this thesis, a meta-explanation technique was also investigated with the goal of producing more accurate explanations by aggregating various interpretations for a specific instance using truthfulness. A common characteristic of all the contributions mentioned previously is the scope of the produced interpretations. While there are interpretability techniques that provide explanations that apply to the entire structure of the model, called global interpretations, this thesis focuses on techniques that provide interpretations that are specific to individual instances. This concept is also known as local interpretability.

Η πρόοδος στον κλάδο της πληροφορικής, και η ανάπτυξη του πεδίου της τεχνητής νοημοσύνης και μηχανικής μάθησης έχει δημιουργήσει έφορο έδαφος για την ανάπτυξη εφαρμογών, με ασύλληπτες έως πρότινος δυνατότητες. Ωστόσο, η χρήση εφαρμογών μηχανικής μάθησης σε ορισμένους τομείς μπορεί να καταστεί απαγορευτική. Πράγματι, όταν διακυβεύονται ανθρώπινες ζωές, οι αποφάσεις των συστημάτων που βασίζονται στην τεχνητή νοημοσύνη πρέπει να είναι αξιόπιστες. Η επεξηγηματικότητα είναι ένας τρόπος για την ικανοποίηση αυτών των κριτηρίων. Ωστόσο, για να επιτευχθεί η επεξηγηματικότητα σε επίπεδο χρήστη, πρέπει να αντιμετωπιστούν προβλήματα που αφορούν την ερμηνευσιμότητα. Αυτό είναι ιδιαίτερα αισθητό σε συστήματα που εμπεριέχουν μοντέλα μηχανικής μάθησης. Παρόλο που ορισμένα μοντέλα είναι εγγενώς ερμηνεύσιμα, τα μοντέλα με τις καλύτερες επιδόσεις είναι μη ερμηνεύσιμα. Τα μοντέλα τυχαίου δάσους, για παράδειγμα, είναι πολύπλοκα μοντέλα που διαπρέπουν σε εργασίες όπως η ανίχνευση απάτης και η πρόβλεψη πιθανότητας ασθένειας. Παρόλο που τα δέντρα αποφάσεων που τα απαρτίζουν είναι ερμηνεύσιμα, τα τυχαία δάση δεν παρέχουν ερμηνείες για τις αποφάσεις τους εγγενώς. Επιπλέον, τα νευρωνικά δίκτυα που επιτυγχάνουν υπεράνθρωπες επιδόσεις κατά την επεξεργασία δομημένων αλλά και αδόμητων δεδομένων είναι σχεδόν πάντα μη ερμηνεύσιμα από τον σχεδιασμό τους λόγω του μεγάλου αριθμού των παραμέτρων τους. Αυτά τα μοντέλα αποδίδουν εκπληκτικά σε πολλές διεργασίες, συμπεριλαμβανομένης της ανίχνευσης ρητορικής μίσους και της προγνωστικής συντήρησης. Η παρούσα διατριβή διερευνά τα δύο αυτά μοντέλα, επιδιώκοντας να αντιμετωπίσει τα προβλήματα ερμηνευσιμότητάς τους. Ξεκινώντας από τα νευρωνικά δίκτυα, αναπτύχθηκε η τεχνική LioNets, η οποία λαμβάνει ενεργά υπόψη την αρχιτεκτονική και τις κρυφές αναπαραστάσεις. H τεχνική LioNets, δοκιμασμένη σε δεδομένα κειμένου και χρονοσειρών, παράγει γείτονες στον κρυφό χώρο του προ τελευταίου επίπεδου του νευρωνικού, για να εξασφαλίσει γειτνίαση μεταξύ των παραγόμενων γειτόνων και της υπό εξέταση περίπτωσης. Η τεχνική LionForests σχεδιάστηκε για να εξηγεί τυχαία δάση, παρέχοντας κανόνες ως εξηγήσεις. Για να το πετύχει αυτό, εξάγει κάθε διαδρομή απόφασης από όλα τα δέντρα που αφορούν μια απόφαση και τις συνδυάζει αποτελεσματικά παράγοντας έναν κανόνα χαμηλής πολυπλοκότητας. Αναπτύχθηκε για εργασίες δυαδικής ταξινόμησης, αλλά αντιμετωπίζει εργασίες ταξινόμησης πολλαπλών κλάσεων και πολλαπλών ετικετών, καθώς και εργασίες παλινδρόμησης. Με την εισαγωγή τέτοιων τεχνικών, για να καταστεί δυνατή η ερμηνευσιμότητα σύνθετων μοντέλων σε διάφορες εργασίες επιβλεπόμενης μάθησης, λήφθηκαν υπόψη συγκεκριμένες ιδιότητες κατά τη διαδικασία, ενώ προτάθηκαν και νέες, όπως η αποτελεσματικότητα. Η τελευταία, σχετίζεται με εξηγήσεις σε μορφή κανόνων, και διασφαλίζει ότι η εξήγηση δεν περιέχει παραπλανητικά ή λανθασμένα στοιχεία. Για την αξιολόγηση της απόδοσης αυτών των νέων τεχνικών, χρησιμοποιήθηκαν διάφορες μετρικές της βιβλιογραφίας, καθώς και μερικές νέες. Η μετρική της ειλικρίνειας, ειδικότερα, παρουσιάστηκε ως παραλλαγή της αληθοφάνειας, με στόχο την προσομοίωση ανήσυχων χρηστών που αξιολογούν μόνοι τους μια εξήγηση. Στο πλαίσιο της παρούσας διατριβής, διερευνήθηκε επίσης μια τεχνική μετα-επεξήγησης, η MetaLion, με στόχο την παραγωγή επεξηγήσεων μέσω της συγκέντρωσης διαφόρων ερμηνειών για μια συγκεκριμένη περίπτωση χρησιμοποιώντας την ειλικρίνεια. Κοινό χαρακτηριστικό όλων των συνεισφορών που αναφέρθηκαν είναι το εύρος των παραγόμενων ερμηνειών. Ενώ υπάρχουν τεχνικές ερμηνευσιμότητάς που παρέχουν ερμηνείες που ισχύουν για ολόκληρη τη δομή του μοντέλου, οι καθολικές ερμηνείες, η παρούσα διατριβή παρουσιάζει τεχνικές που παρέχουν τοπικές ερμηνείες, οι οποίες είναι συγκεκριμένες για μεμονωμένες περιπτώσεις.