Online identity inference, impersonation and mitigation strategies

Abstract

Online identities in social platforms and generative models are increasingly at risk as adversaries exploit unique identifiers for malicious ends. This thesis examines two complementary perspectives on such vulnerabilities: squatted usernames on social networks and attribute leakage in text-guided diffusion (T2I) models. First, we systematically investigate how attackers capitalize on near-duplicate username registrations on X, confusing users and enabling large–scale impersonation. To illuminate this phenomenon, we develop the username–generation tool UsernameCrazy, inspecting hundreds of thousands of variants derived from celebrity accounts. Our measurements reveal a concerning ecosystem of suspended and active squatted usernames, many featuring profile pictures and names closely matching the originals to bolster deception. We further demonstrate how user mismentions and X’s search algorithm magnify these threats. To mitigate them, we propose SQUAD, a framework integrating UsernameCrazy, achieving a 94% F1–score in detecting suspicious squatted accounts. While username squatting targets explicit digital identities, online personas are increasingly shaped by more subtle signals—particularly in the era of generative AI. We extend our analysis to emerging T2I models and their potential to leak sensitive traits–such as authorship or dementia status–through seemingly benign image outputs. By constructing adversarial pipelines that leverage image augmentation and text–image embedding models, we achieve up to 0.877% Top–5 accuracy in attributing images across 100 authors, and 0.75% accuracy in inferring dementia status (using the ADReSS dataset). These inferences are robust against diverse training sets, independent of classifier choice, and remain resilient to standard mitigation strategies. Together, these findings reveal how adversaries can hijack identifiers–whether user–chosen names on a social platform or latent attributes embedded in generative images–to threaten security and privacy. By characterizing these overlooked risks and introducing detection and protection mechanisms, this thesis advances our collective understanding of modern identity vulnerabilities and highlights avenues to safeguard online communities.

Οι διαδικτυακές ταυτότητες στις κοινωνικές πλατφόρμες και στα γενετικά μοντέλα βρίσκονται ολοένα και περισσότερο σε κίνδυνο, καθώς επιτιθέμενοι εκμεταλλεύονται μοναδικά αναγνωριστικά για κακόβουλους σκοπούς. Η παρούσα διατριβή εξετάζει δύο συμπληρωματικές όψεις αυτών των ευπαθειών: την κατάληψη ονομάτων χρήστη σε κοινωνικά δίκτυα και τη διαρροή χαρακτηριστικών σε μοντέλα διάχυσης κατευθυνόμενα από κείμενο. Αρχικά, διερευνούμε συστηματικά τον τρόπο με τον οποίο οι επιτιθέμενοι εκμεταλλεύονται εγγραφές ονομάτων χρήστη που αποτελούν σχεδόν-αντίγραφα στο κοινωνικό δίκτυο 'X', προκαλώντας σύγχυση στους χρήστες και επιτρέποντας μαζικές επιθέσεις μίμησης ταυτότητας. Για να φωτίσουμε το φαινόμενο, αναπτύξαμε το εργαλείο δημιουργίας ονομάτων 'UsernameCrazy', με το οποίο εξετάσαμε εκατοντάδες χιλιάδες παραλλαγές ονομάτων προερχόμενων από λογαριασμούς διασήμων. Οι μετρήσεις μας αποκάλυψαν ένα ανησυχητικό οικοσύστημα ενεργών και ανασταλμένων καταληφθέντων ονομάτων, πολλά εκ των οποίων περιείχαν εικόνες προφίλ και ονόματα που μιμούνταν στενά τα πρωτότυπα, ενισχύοντας την εξαπάτηση. Δείχνουμε επιπλέον πώς οι λανθασμένες αναφορές χρηστών και ο αλγόριθμος αναζήτησης του X επιδεινώνουν αυτές τις απειλές. Για την αντιμετώπισή τους, προτείνουμε το πλαίσιο 'SQUAD', το οποίο ενσωματώνει το 'UsernameCrazy', επιτυγχάνοντας Δείκτη F1 ίσο με 94% για τον εντοπισμό ύποπτων καταληφθέντων λογαριασμών. Ενώ η κατάληψη ονομάτων χρήστη στοχεύει άμεσα την ψηφιακή ταυτότητα, οι διαδικτυακές περσόνες καθορίζονται όλο και περισσότερο από πιο λεπτές ενδείξεις—ιδίως στην εποχή της γενετικής τεχνητής νοημοσύνης. Επεκτείνουμε την ανάλυσή μας στα αναδυόμενα μοντέλα μετατροπής κειμένου σε εικόνα και τη δυνατότητά τους να διαρρέουν ευαίσθητα χαρακτηριστικά—όπως η ταυτότητα του δημιουργού ή η ύπαρξη άνοιας—μέσω φαινομενικά αθώων παραγόμενων εικόνων. Κατασκευάζοντας αντίπαλες ροές επεξεργασίας που αξιοποιούν ενίσχυση εικόνων και μοντέλα ενσωμάτωσης κειμένου-εικόνας, επιτυγχάνουμε ακρίβεια έως 87,7% στις πέντε κορυφαίες προβλέψεις κατά την αντιστοίχιση εικόνων με 100 συγγραφείς και 75% ακρίβεια στην ανίχνευση άνοιας (χρησιμοποιώντας το σύνολο δεδομένων 'ADReSS'). Τα αποτελέσματα αυτά παραμένουν ανθεκτικά απέναντι σε διαφορετικά σύνολα εκπαίδευσης, ανεξάρτητα από την επιλογή ταξινομητή, και διατηρούνται ισχυρά έναντι τυπικών στρατηγικών μετριασμού. Συνολικά, τα ευρήματα αποκαλύπτουν πώς οι επιτιθέμενοι μπορούν να οικειοποιηθούν αναγνωριστικά—είτε πρόκειται για ονόματα χρηστών που επιλέγονται από τον ίδιο τον χρήστη σε μια κοινωνική πλατφόρμα είτε για λανθάνοντα χαρακτηριστικά ενσωματωμένα σε παραγόμενες εικόνες—και να απειλήσουν την ασφάλεια και την ιδιωτικότητα. Χαρακτηρίζοντας αυτούς τους παραγνωρισμένους κινδύνους και εισάγοντας μηχανισμούς ανίχνευσης και προστασίας, η διατριβή αυτή προάγει τη συλλογική κατανόηση των σύγχρονων τρωτοτήτων της ταυτότητας και υποδεικνύει νέους δρόμους για την προστασία των διαδικτυακών κοινοτήτων.