Estimation of treatment effects in matching marketplaces under interference

Abstract

Marketplace companies routinely use randomized experiments to make operational decisions. These experiments can suffer from interference: treated and untreated units interact in ways that affect their outcome. In this thesis, we focus on mitigating interference bias in experiments conducted in matching marketplaces, where the platform actively matches supply and demand units via a linear programming algorithm. In the first part of this study, we examine pricing interventions, where a platform experiments with new base pricing levels at the marketplace level. In a matching marketplace, this type of experiment raises a crucial design question: should the platform match treated and untreated units differently because they paid different prices? We find that standard estimation techniques are biased, but the sign of this bias depends strongly on this design choice. Bias can be reduced using the "shadow price" estimator, which relies on the optimal dual solution of the platform’s supply-demand matching problem --- particularly when the platform ignores pricing differences at matching time. We validate our findings both theoretically, in a fluid limit setting, and numerically, in a finite-sample setting. In the second part of this study, we focus on marketplace experiments that are used to determine whether a specific demand-boosting intervention should be rolled out. Since rollouts can be global (affecting all users) or partial (targeting specific users), it is essential to measure the intervention’s effect on different sub-populations, a process known as heterogeneous treatment effect analysis. We first establish that heterogeneous treatment effects (HTEs) may not be uniquely defined in the presence of marketplace interference. We then distinguish two cases: when the HTE on a subset of users is uniquely defined, we show that the shadow price estimator can provably reduce bias from the standard estimator. When the HTE is not uniquely defined, we recast the problem of estimating treatment effects for each user group as a decision-making problem --- determining whether or not to roll out the treatment to each group. We use the shadow price estimator to design a robust decision rule, which we demonstrate to be more effective and less conservative than a comparable decision rule based on the standard estimator. Finally, we verify our theoretical results through numerical experiments on synthetic data. In the third part of this study, we introduce a principled method that leverages information from a single experiment to derive tight bounds on treatment effects, both for global treatment effects (GTEs) and heterogeneous treatment effects (HTEs). Our theoretical analysis demonstrates that the newly introduced "Bounds" estimator (BE) achieves comparable bias to the Shadow Price (SP) and standard approaches. Empirically, we show that while the "Bounds" estimator may exhibit higher bias in certain regions of the parameter space, it also exhibits substantially lower variance, leading to an overall lower root mean squared error (RMSE). Our analysis expands the set of available estimators for practitioners, who can more effectively trade off estimation bias and variance based on their needs.

Οι πλατφόρμες ψηφιακών αγορών χρησιμοποιούν συστηματικά τυχαιοποιημένα πειράματα για τη λήψη επιχειρησιακών αποφάσεων. Ωστόσο, τα πειράματα αυτά ενδέχεται να παρουσιάσουν παρεμβολή: οι μονάδες που έχουν υποβληθεί σε παρέμβαση και εκείνες που δεν έχουν, μπορεί να αλληλεπιδρούν με τρόπους που επηρεάζουν τα αποτελέσματά τους. Στην παρούσα διατριβή επικεντρωνόμαστε στη μείωση της μεροληψίας λόγω παρεμβολής σε πειράματα που διεξάγονται σε αγορές αντιστοίχισης, όπου η πλατφόρμα αντιστοιχίζει μονάδες προσφοράς και ζήτησης μέσω αλγορίθμου γραμμικού προγραμματισμού. Στο πρώτο μέρος της μελέτης εξετάζουμε παρεμβάσεις τιμολόγησης, όπου μια πλατφόρμα πειραματίζεται με νέα επίπεδα βασικής τιμής σε επίπεδο αγοράς. Σε μια αγορά αντιστοίχισης, τέτοιου είδους πειράματα θέτουν ένα κρίσιμο ερώτημα σχεδιασμού: πρέπει η πλατφόρμα να αντιστοιχίζει διαφορετικά τις μονάδες που έχουν υποβληθεί στην παρέμβαση από εκείνες που δεν έχουν, λόγω των διαφορετικών τιμών που κατέβαλαν; Διαπιστώνουμε ότι οι τυπικές τεχνικές εκτίμησης παρουσιάζουν μεροληψία, και ότι η κατεύθυνση αυτής της μεροληψίας εξαρτάται σημαντικά από την επιλογή σχεδιασμού. Η μεροληψία αυτή μπορεί να μειωθεί με τη χρήση του εκτιμητή «σκιώδους τιμής», ο οποίος βασίζεται στη βέλτιστη δυϊκή λύση του προβλήματος αντιστοίχισης προσφοράς και ζήτησης της πλατφόρμας — ιδιαίτερα όταν η πλατφόρμα αγνοεί τις διαφορές τιμών κατά τη διαδικασία αντιστοίχισης. Τα αποτελέσματά μας επικυρώνονται τόσο θεωρητικά, όσο και αριθμητικά (σε πεπερασμένα δείγματα). Στο δεύτερο μέρος της μελέτης επικεντρωνόμαστε σε πειράματα αγορών που αποσκοπούν στο να κριθεί αν μια συγκεκριμένη παρέμβαση θα πρέπει να εφαρμοστεί ευρύτερα. Δεδομένου ότι η εφαρμογή της παρέμβασης μπορεί να είναι είτε καθολική (σε όλους τους χρήστες) είτε επιλεκτική (σε επιμέρους ομάδες χρηστών), είναι ουσιώδες να εκτιμηθεί η επίδραση της παρέμβασης σε διαφορετικές ομάδες χρηστών, διαδικασία γνωστή ως ανάλυση ετερογενών αποτελεσμάτων παρέμβασης. Αρχικά αποδεικνύουμε ότι τα ετερογενή αποτελέσματα παρέμβασης ενδέχεται να μην είναι μοναδικά προσδιορισμένα σε περιβάλλον με παρεμβολές. Διακρίνουμε δύο περιπτώσεις: όταν το αποτέλεσμα παρέμβασης σε μια ομάδα χρηστών είναι μοναδικά προσδιορισμένο, δείχνουμε ότι ο εκτιμητής σκιώδους τιμής μπορεί αποδεδειγμένα να μειώσει τη μεροληψία σε σύγκριση με τον τυπικό εκτιμητή. Όταν το αποτέλεσμα παρέμβασης σε μια ομάδα χρηστών δεν είναι μοναδικά προσδιορισμένο, αναδιατυπώνουμε το πρόβλημα εκτίμησης ως πρόβλημα λήψης αποφάσεων — αν θα πρέπει δηλαδή να εφαρμοστεί ή όχι η παρέμβαση στην κάθε ομάδα. Χρησιμοποιούμε τον εκτιμητή σκιώδους τιμής για να σχεδιάσουμε έναν εύρωστο κανόνα απόφασης, τον οποίο αποδεικνύουμε πιο αποτελεσματικό και λιγότερο συντηρητικό από αντίστοιχους κανόνες που βασίζονται στον τυπικό εκτιμητή. Τα θεωρητικά ευρήματα επιβεβαιώνονται μέσω αριθμητικών πειραμάτων σε συνθετικά δεδομένα. Στο τρίτο μέρος της μελέτης προτείνουμε μια μεθοδολογία που αξιοποιεί δεδομένα από ένα μόνο πείραμα για την παραγωγή άνω και κάτω ορίων (φραγμών) στις εκτιμήσεις της παρέμβασης, τόσο για τα καθολικά αποτελέσματα παρέμβασης όσο και για τα ετερογενή. Η θεωρητική μας ανάλυση δείχνει ότι ο νέος εκτιμητής «φραγμών» επιτυγχάνει μεροληψία συγκρίσιμη με εκείνη των εκτιμητών σκιώδους τιμής και των τυπικών μεθόδων. Πειραματικά, διαπιστώνουμε ότι παρότι ο εκτιμητής φραγμών παρουσιάζει υψηλότερη μεροληψία σε ορισμένες περιοχές του παραμετρικού χώρου, έχει σαφώς χαμηλότερη διακύμανση, οδηγώντας σε χαμηλότερο μέσο τετραγωνικό σφάλμα. Η ανάλυσή μας διευρύνει το φάσμα διαθέσιμων εκτιμητών για τους ερευνητές, δίνοντάς τους τη δυνατότητα να εξισορροπήσουν πιο αποτελεσματικά τη μεροληψία και τη διακύμανση σύμφωνα με τις ανάγκες τους.