Modeling of cyber threat intelligence (CTI) systems and measuring CTI quality

Abstract

Cyber Threat Intelligence (CTI) has become a central pillar of modern cybersecurity, enabling organizations to anticipate, detect, and respond to increasingly sophisticated cyber threats. However, despite the rapid growth of CTI platforms, data sources, and information-sharing initiatives, organizations continue to face significant challenges related to systematic modeling of CTI systems and rigorous and scalable evaluation of CTI quality. Existing approaches are often fragmented, lack architectural completeness, and rely heavily on qualitative or static evaluation methods that fail to capture organizational context and operational impact. This thesis addresses these challenges by proposing a comprehensive reference modelfor CTI systems and a methodology for developing CTI quality metrics to quantify CTIquality. First, it introduces a systematic CTI reference model that captures architectural elements, operational workflows, and complexity factors throughout the entire CTI lifecycle. The model is validated through multiple case studies and is utilized for the development of a detailed reference architecture of a CTI system that leverages discussion forums as intelligence sources. Second, the thesis formalizes CTI quality by defining key quality factors and presenting a general methodology for developing quantitative CTI quality metrics. This methodology is applied to derive metrics for relevance, completeness, and action ability, including scalable probabilistic formulations suitable for large-volume and heterogeneous CTI data. Experimental evaluations demonstrate the applicability and performance of the proposed metrics in diverse experimental organizations. Finally, the thesis introduces an adaptive, reinforcement-learning-based decisionmaking solution that uses CTI quality metrics as feedback signals to dynamically selectand apply CTI products. By integrating system modeling, quantitative quality assessment, and learning-based optimization, this work advances the state of the art towards adaptive, intelligence-driven cybersecurity operations.

Οι Πληροφορίες Κυβερνοαπειλών (ΠΚ) έχουν καταστεί κεντρικός πυλώνας της σύγχρονης κυβερνοασφάλειας, επιτρέποντας στους οργανισμούς να προβλέπουν, να εντοπίζουνκαι να ανταποκρίνονται σε ολοένα και πιο εξελιγμένες κυβερνοαπειλές. Ωστόσο, παράτην ταχεία ανάπτυξη των πλατφορμών ΠΚ, των πηγών δεδομένων και των πρωτοβουλιών ανταλλαγής πληροφοριών, οι οργανισμοί εξακολουθούν να αντιμετωπίζουν σημαντικές προκλήσεις που σχετίζονται με τη συστηματική μοντελοποίηση των συστημάτων ΠΚ και την αυστηρή και κλιμακωτή αξιολόγηση της ποιότητας των ΠΚ. Οι υπάρχουσες προσεγγίσεις είναι συχνά κατακερματισμένες, στερούνται αρχιτεκτονικής πληρότητας και βασίζονται σε μεγάλο βαθμό σε ποιοτικές ή στατικές μεθόδους αξιολόγησης που δεν καταφέρνουν να αποτυπώσουν το οργανωτικό πλαίσιο και τον επιχειρησιακό αντίκτυπο. Η παρούσα διατριβή αντιμετωπίζει αυτές τις προκλήσεις προτείνοντας ένα ολοκληρωμένο μοντέλο αναφοράς για τα συστήματα ΠΚ και μια μεθοδολογία για την ανάπτυξη δεικτών μέτρησης της ποιότητας των ΠΚ με σκοπό την ποσοτικοποίησή της. Πρώτον, εισάγει ένα συστηματικό μοντέλο αναφοράς ΠΚ που αποτυπώνει τα αρχιτεκτονικά στοιχεία, τις επιχειρησιακές ροές εργασίας και τους παράγοντες πολυπλοκότητας σε ολόκληρο τον κύκλο ζωής των ΠΚ. Το μοντέλο επικυρώνεται μέσω πολλαπλών μελετών περιπτώσεων χρήσης και χρησιμοποιείται για την ανάπτυξη μιας λεπτομερούς αρχιτεκτονικής αναφοράς ενός συστήματος ΠΚ που αξιοποιεί φόρα συζητήσεων ως πηγές πληροφοριών Δεύτερον, η διατριβή τυποποιεί την ποιότητα των ΠΚ ορίζοντας βασικούς παράγοντες ποιότητας και παρουσιάζοντας μια γενική μεθοδολογία για την ανάπτυξη ποσοτικών μετρήσεων ποιότητας ΠΚ. Αυτή η μεθοδολογία εφαρμόζεται για την δημιουργία μετρικών συνάφειας, πληρότητας και δυνατότητας δράσης, συμπεριλαμβανομένων πιθανοτικών μετρικών κατάλληλων για την μέτρηση της ποιότητας μεγάλης κλίμακας και ετερογενών δεδομένων ΠΚ. Πειραματικές αξιολογήσεις αποδεικνύουν την εφαρμοσιμότητα και την απόδοση των προτεινόμενων μετρήσεων σε διάφορους τύπους οργανισμών. Τέλος, η διατριβή εισάγει μια προσαρμοστική λύση λήψης αποφάσεων βασισμένη στην ενισχυτική μάθηση, η οποία χρησιμοποιεί μετρήσεις ποιότητας ΠΚ ως σήματα ανατροφοδότησης για τη δυναμική επιλογή και εφαρμογή προϊόντων ΠΚ. Με την ενσωμάτωση της μοντελοποίησης συστημάτων, της ποσοτικής αξιολόγησης ποιότητας και της βελτιστοποίησης βασισμένης στη μάθηση, η εργασία αυτή προωθεί την εφαρμογή προηγμένων και βασισμένων στην πληροφορία δυνατοτήτων στην κυβερνοασφάλεια.