Measurement and analysis of abuse mechanisms and revenue flows in web advertising systems

Abstract

Digital advertising has become the primary monetization infrastructure of the modern Web, sustaining a vast ecosystem of publishers, platforms, and intermediaries. In fact, the online advertising market has recently reached the 500 billion dollar mark. To accommodate the need to match a user with the highest bidder at a fraction of a second, it has moved towards a complex, automated and often opaque model that involves numerous agents and intermediaries. Despite its central economic role, the online advertising ecosystem suffers from limited transparency and weak accountability. Unfortunately, auction mechanisms, revenue distribution, and content monetization are largely inaccessible to external scrutiny, enabling the monetization of misleading, low-quality, or harmful content. Additionally, the complexity of intermediary chains can enable unintended or hidden revenue flows, often without the knowledge of advertisers, whose brands may be inadvertently associated with objectionable content. A fundamental obstacle to addressing these issues is the lack of comprehensive measurement and empirical insight, as the existing understanding of the online advertising ecosystem remains incomplete. This dissertation aims to systematically measure and analyze abuse in online advertising systems, focusing on the mechanisms, infrastructure, and effectiveness of transparency and regulatory interventions. It relies on large-scale measurements and extensive data collection spanning millions of websites over long time periods, enabling the observation of longitudinal trends and systemic behaviors. The methodology integrates graph-based models to capture and analyze relationships in monetization and ownership structures, revealing complex interdependencies across the Web. In parallel, it employs client-side instrumentation and content analysis techniques to examine how these mechanisms manifest in practice, from user-facing interactions to underlying revenue flows. Through large-scale measurements of millions of websites across long time periods, we study how advertising systems can (often inadvertently) provide financial support to objectionable content and how advanced techniques can hide illicit content and bypass safeguards. Additionally, we measure dark patterns with widespread violations that deliberately circumvent legislation and mislead users. Empirical evaluation of standards, policies, and regulation demonstrates that ad transparency standards are regularly misused or misimplemented, enabling opacity and revenue diversion, and that regulatory efforts have limited real-world impact. The core contributions of this dissertation span multiple layers of the Web ecosystem, offering a deep understanding of both compliance and abuse. First, it establishes a structural baseline by mapping website monetization and revealing the central role of intermediaries and the high concentration of power within a small set of actors. At the content level, it demonstrates that advertising systems inadvertently fund misinformation, often as part of broader, coordinated operations rather than isolated incidents. At the delivery layer, it uncovers ad laundering techniques that obscure the true nature of content and enable actors to bypass platform safeguards. At the interface level, it provides large-scale measurements of dark patterns, highlighting widespread violations of disclosures and user expectations. At the system level, the work shows that transparency mechanisms such as ads.txt and sellers.json files are frequently misused or improperly implemented, facilitating opacity and revenue diversion. Finally, this dissertation evaluates policy interventions and finds that regulatory efforts have had limited real-world impact, underscoring the gap between policy design and enforcement in practice. Altogether, abuse in online advertising systems is not isolated, but systemic, arising from the interaction of economic incentives, infrastructural opacity, and weak enforcement mechanisms.

Οι ψηφιακές διαφημίσεις έχουν γίνει η κύρια υποδομή δημιουργίας εσόδων του σύγχρονου Ιστού, συντηρώντας ένα τεράστιο οικοσύστημα εκδοτών, πλατφορμών και μεσαζόντων. Πράγματι, η αγορά της διαδικτυακής διαφήμισης πρόσφατα ξεπέρασε τα 500 δισεκατομμύρια δολάρια. Για να ανταποκριθεί στην ανάγκη να αντιστοίχισης ενός χρήστη με τον υψηλότερο πλειοδότη διαφημιστή σε κλάσματα του δευτερολέπτου, το οικοσύστημα των διαφημίσεων έχει προχωρήσει προς ένα πολύπλοκο, αυτοματοποιημένο και συχνά αδιαφανές μοντέλο, που περιλαμβάνει πολυάριθμους παράγοντες και μεσάζοντες. Παρά τον κεντρικό οικονομικό του ρόλο, το οικοσύστημα διαδικτυακών διαφημίσεων πάσχει από περιορισμένη διαφάνεια και αδύναμη λογοδοσία. Δυστυχώς, οι μηχανισμοί δημοπρασιών, η κατανομή των εσόδων και η δημιουργία εσόδων από διαδικτυακό περιεχόμενο είναι σε μεγάλο βαθμό απρόσιτα σε εξωτερικό έλεγχο, επιτρέποντας τη δημιουργία εσόδων από παραπλανητικό, χαμηλής ποιότητας ή επιβλαβές περιεχόμενο. Επιπλέον, η πολυπλοκότητα των αλυσίδων διαμεσολαβητών μπορεί να οδηγήσει σε ακούσιες ή κρυφές ροές εσόδων, συχνά χωρίς τη γνώση των διαφημιζόμενων, των οποίων οι επωνυμίες ενδέχεται να συσχετιστούν ακούσια με απαράδεκτο περιεχόμενο. Ένα θεμελιώδες εμπόδιο για την αντιμετώπιση αυτών των ζητημάτων είναι η έλλειψη ολοκληρωμένων μετρήσεων και εμπειρικών στοιχείων, καθώς η υπάρχουσα κατανόηση του οικοσυστήματος διαδικτυακών διαφημίσεων παραμένει ελλιπής. Αυτή η διατριβή σκοπεύει να μετρήσει και να αναλύσει συστηματικά καταχρήσεις σε διαδικτυακά συστήματα διαφημίσεων, επικεντρώνοντας στους μηχανισμούς, την υποδομή και την αποτελεσματικότητα των παρεμβάσεων διαφάνειας και νομοθεσίας. Βασίζεται σε μετρήσεις μεγάλης κλίμακας και εκτενή συλλογή δεδομένων καλύπτοντας εκατομμύρια ιστοσελίδες για μεγάλα χρονικά διαστήματα, επιτρέποντας την παρακολούθηση διαμηκών τάσεων και συστημικών συμπεριφορών. Η μεθοδολογία ενσωματώνει μοντέλα βασισμένα σε γράφους για να εντοπίσουν και να αναλύσουν σχέσεις στις δομές δημιουργίας εσόδων και ιδιοκτησίας, αποκαλύπτοντας πολύπλοκες αλληλεξαρτήσεις σε ολόκληρο τον Ιστό. Παράλληλα, χρησιμοποιεί εργαλεία από την πλευρά του πελάτη και τεχνικές ανάλυσης περιεχομένου για να εξετάσει πως αυτοί οι μηχανισμοί εκδηλώνονται στην πράξη, από τις αλληλεπιδράσεις με τον χρήστη έως τις υποκείμενες ροές εσόδων. Μέσω μετρήσεων μεγάλης κλίμακας σε εκατομμύρια ιστοσελίδες για μεγάλα χρονικά διαστήματα, μελετάμε πώς τα συστήματα διαφήμισης μπορούν (συχνά ακούσια) να υποστηρίξουν οικονομικά ανάρμοστο περιεχόμενο και πως προηγμένες τεχνικές μπορούν να αποκρύψουν παράνομο περιεχόμενο και να παρακάμψουν τις δικλείδες ασφαλείας. Επιπλέον, μετράμε σκοτεινά μοτίβα με εκτεταμένες παραβιάσεις οι οποίες σκοπίμως παρακάμπτουν νομοθεσία και ξεγελούν τους χρήστες. Η εμπειρική αξιολόγηση των προτύπων, των πολιτικών και της νομοθεσίας δείχνει ότι τα πρότυπα διαφάνειας των διαφημίσεων συχνά χρησιμοποιούνται ή υλοποιούνται εσφαλμένα, επιτρέποντας την αδιαφάνεια και την εκτροπή εσόδων, και ότι οι ρυθμιστικές προσπάθειες έχουν περιορισμένο αντίκτυπο στον πραγματικό κόσμο. Οι βασικές συνεισφορές αυτής της διατριβής εκτείνονται σε πολλαπλά επίπεδα του οικοσυστήματος του Ιστού, προσφέροντας μια εις βάθος κατανόηση τόσο της συμμόρφωσης όσο και της κατάχρησης. Αρχικά, καθορίζει μια δομική βάση χαρτογραφώντας τη δημιουργία εσόδων από ιστότοπους και αποκαλύπτοντας τον κεντρικό ρόλο των μεσαζόντων και την υψηλή συγκέντρωση εξουσίας σε ένα μικρό σύνολο φορέων. Σε επίπεδο περιεχομένου, η διατριβή αποδεικνύει ότι τα διαφημιστικά συστήματα χρηματοδοτούν ακούσια την παραπληροφόρηση, συχνά ως μέρος ευρύτερων, συντονισμένων επιχειρήσεων και όχι ως μεμονωμένα περιστατικά. Στο επίπεδο παράδοσης, αποκαλύπτει τεχνικές ξεπλύματος διαφημίσεων που αποκρύπτουν την πραγματική φύση του περιεχομένου και επιτρέπουν στους εμπλεκόμενους να παρακάμπτουν τις διασφαλίσεις των πλατφορμών. Στο επίπεδο διεπαφής, παρέχει μετρήσεις μεγάλης κλίμακας των σκοτεινών μοτίβων, επισημαίνοντας εκτεταμένες παραβιάσεις των γνωστοποιήσεων και των προσδοκιών των χρηστών. Σε επίπεδο συστήματος, η εργασία δείχνει ότι οι μηχανισμοί διαφάνειας, όπως τα αρχεία ads.txt και sellers.json, χρησιμοποιούνται συχνά λανθασμένα ή εφαρμόζονται ακατάλληλα, διευκολύνοντας την αδιαφάνεια και την εκτροπή εσόδων. Τέλος, αξιολογεί τις πολιτικές παρεμβάσεις και διαπιστώνει ότι οι ρυθμιστικές προσπάθειες είχαν περιορισμένο αντίκτυπο στον πραγματικό κόσμο, τονίζοντας το χάσμα μεταξύ του σχεδιασμού πολιτικής και της εφαρμογής της στην πράξη. Συνολικά, η κατάχρηση στα συστήματα διαδικτυακών διαφημίσεων δεν είναι μεμονωμένη, αλλά συστηματική, και προκύπτει από την αλληλεπίδραση οικονομικών κινήτρων, αδιαφάνειας υποδομών και αδύναμων μηχανισμών επιβολής.