A market approach to forecasting: background, theory and practice

Abstract

My PhD Thesis focuses on the omnipresent problem of business forecasting. In its very core, theproblem refers to estimating a variable’s future price, potentially being correlated to a set of variables,or ideally following a specific pattern. There exists a variety of statistical approaches, ranging fromclassical econometric techniques to recent data mining algorithms, attempting to extract suchunderlying relationships from past data and reproduce them to predict future values. However, inpractice, these correlations are highly dynamic and patterns, if any, usually evolve in chaotic ways.Therefore even highly adjustable machine learning techniques tend to perform poorly, suffering frominherent systemic impotencies.Human experts, on the other hand, seem to be better suited to address this request. A single expertcan process a big number of variables and quickly adjust predictions into varying circumstances.However, bias and shortcomings reduce the value of such estimates. Consequently, there lies a needand opportunity to develop mechanisms that can demonstrate a capacity to aggregate information fromexperts, in a dynamic, cost and time-effective manner that negates their inherent shortcomings.Financial markets arise as an emerging paradigm to handle such a request. Well- established marketinstitutions typically focus on serving either investment, hedging or speculation purposes, while theirfundamental function of information aggregation remains latent in all but newly, and yet of limitedexposure, prediction markets institutions. I provide a market topology scheme and locate existingmarket institutions in terms of usage of these ubiquitous functions. And I am studying predictionmarkets in this Thesis.I start with a survey. I provide an extensive literature review of the field and a detailed classificationscheme of the existing literature, both appearing for the first time in the bibliography. I then move on toidentify inappropriate attributes ensued from market mechanisms typically used to serve a predictionmarket institution. I build on the latest advances of market scoring rules and dynamic pari-mutuelmarkets to propose an analytical framework for a coherent price function of a dynamic pari-mutuelmarket. I construct and validate a function satisfying this framework, finally contributing what may beperceived as a coherent hybrid between dynamic pari-mutuel market and market scoring rules.I also provide an attempt to evaluate the hybrid’s performance by shaping a dynamic market model and simulating various agent behaviors and strategies to study the properties of convergence, acquisition ofrecently arrived information and equilibrium, among others.I then proceed from models and simulations to practice. To examine the behavior of the proposedmarket mechanism and its forecasting capacity, I build and present a fully-scaled web platform,AskMarkets. Taking advantage of it, I run and analyze a number of experiments in a variety ofacademic, professional and social contexts to empirically validate the applicability of theoreticalfindings. I also provide a practical deployment framework for prediction markets implementation,leveraging on the experience accumulated due to the extent of this study.I also address some advanced concepts and the open question of prediction markets efficiency. Iapproach it by studying the convolution of market prices and relevant news streams. I empiricallyvalidate the approach using the most varied data set of real-money prediction markets contracts everexamined. I finally propose a sophisticated analytical technique for prediction markets to serve forevent detection and eliciting market inefficiencies.Overall, I believe that this Thesis provides a unique contribution to the field of prediction markets,forecasting, decision sciences and operations research at large, studying the mechanism at full scale,ranging from an extensive literature review to a coherent market mechanism and from market modelingto simulations and extended case studies.The Thesis was completed in 2008, yet its defense took place in June 2013.

Η παρούσα διδακτορική διατριβή εστιάζει σε προβλήματα πρόβλεψης. Στον πυρήνα τους, ταπροβλήματα αυτά αναφέρονται στην εκτιμ́ηση της μελλοντικής τιμής μίας μεταβλητής, η οποία δυνητικάσυσχετίζεται με σύνολο άλλων μεταβλητών, ή και ακολουθεί συγκεκριμένο μοτίβο. Πληθώραστατιστικών προσεγγίσεων υπάρχουν διαθέσιμες, εκτεινόμενες από κλασσικές τεχνικές οικονομετρίαςέως πρόσφατους αλγορίθμους εξόρυξης δεδομένων. Στην πράξη, ωστόσο, οι αναζητούμενεςσυσχετίσεις είναι ισχυρά δυναμικές και τα πιθανά μοτίβα, εάν υπάρχουν, μεταβάλλονται με χαοτικότρόπο. Κατά συνέπεια, το σύνολο των μεθόδων αυτών συχνά αποτυγχάνουν, δεδομένων τωνσύμφυτών τους περιορισμών.Οι ειδικοί, στο άλλο άκρο του φάσματος επιλογών, μοιάζουν συχνά περισσότερο κατάλληλοι για τηναντιμετώπιση του προβλήματος πρόβλεψης. Ένας ειδικός δύναται να επεξεργαστεί μεγάλο αριθμόμεταβλητών και να προσαρμόσει ταχέως τις εκτιμήσεις του σε μεταβλητά περιβάλλοντα. Ωστόσο,προβλήματα όπως η μεροληψία υποβιβάζουν την αξία τέτοιων εκτιμήσεων. Κατά συνέπεια,αναδεικνύεται η ανάγκη και συνάμα η ευκαιρία κατασκευής μηχανισμού που θα μπορεί να επιδείξειικανότητα άθροισης πληροφορίας από ειδικούς με δυναμικό και αποδοτικό τρόπο, αναιρώνταςταυτόχρονα τα μειονεκτήματα των εκτιμήσεων αυτών.Οι αγορές αναδεικνύονται ως αναδυόμενο υπόδειγμα απόκρισης στην εν λόγω ανάγκη. Οικαθιερωμένες αγορές εστιάζουν στην υποστήριξη των θεμελιωδών λειτουργιών επένδυσης,αντιστάθμισης κινδύνου και κερδοσκοπίας, ενώ η εξίσου θεμελιώδης λειτουργιά άθροισης πληροφορίαςπαραμένει σε λανθάνουσα κατάσταση. Οι νεοσύστατες –και ως σήμερα περιορισμένης έκτασης–αγορές προβλέψεων επιχειρούν να αξιοποιήσουν την κατάσταση αυτή. Η παρούσα διατριβή εστιάζειστη μελέτη τους.Αρχικά, επιχειρείται η εξαντλητική βιβλιογραφική ανασκόπηση του πεδίου έρευνας και παρέχεταιλεπτομερές σχήμα ταξινόμησης της υφιστάμενης βιβλιογραφίας, αμφότερες συνεισφορέςεμφανιζόμενες για πρώτη φορά στη διεθνή βιβλιογραφία.Στη συνέχεια, η διατριβή εστιάζει στην αναγνώριση των χαρακτηριστικών εκείνων που καθιστούν τουςευρύτερα χρησιμοποιούμενους μηχανισμούς αγοράς ως ακατάλληλους για την περίπτωση αγοράςπροβλέψεων. Αξιοποιώντας την πρόσφατη ανάδειξη ζεύγους κατάλληλων μηχανισμών αγοράς,συγκεκριμένα των κανόνων βαθμολόγησης αγοράς και της αγοράς δυναμικού αμοιβαίου στοιχήματος,προτείνεται πλαισ́ιο ιδιοτήτων για την κατασκευή συναφούς συνάρτησης τιμής για τον δεύτερο εκ τωνμηχανισμών.Στη συνέχεια, παρουσιάζεται ζεύγος συναρτήσεων που ικανοποιούν το προτεινόμενο πλαίσιοσυνάφειας. Η δεύτερη προτεινόμενη συνάρτηση προσομοιάζει τη λειτουργία των κανόνωνβαθμολόγησης αγοράς, συνεισφέροντας εν τέλει ένα συνεκτικό υβρίδιο μεταξύ των μηχανισμώναγοράς προβλέψεων.Επιπρόσθετα επιχειρείται η θεωρητική αποτίμηση της απόδοσης του προτεινόμενου μηχανισμού,διαμορφώνοντας ένα δυναμικό μοντέλο αγοράς και προσωμοιώνοντας συμπεριφορές και στρατηγικέςπρακτόρων. Μεταξύ άλλων, μελετώνται οι ιδιότητες σύγκλισης, αφομοιώσης πρόσφατων πληροφοριώνκαι εξισορρόπησης.Στη συνέχεια, η θεωρία και τα μοντέλα λειτουργίας παραχωρούν τη θέση τους στις εφαρμογές. Ηανάγκη εξέτασης του προτεινόμενου μηχανισμού στην πράξη, οδήγησε στην κατασκευήολοκληρωμένης διαδικτυακής πλατφόρμας με την ονομασία askmarkets. Αξιοποιώντας την πλατφόρμααυτή, σειρά πειραμάτων σε ακαδημαϊκό, επιχειρηματικό και ανοικτό διαδικτυακό περιβάλλονπεριγράφονται και τα αποτελέσματα αυτών αναλύονται με στόχο την εμπειρική επαλήθευση τωνθεωρητικών ευρημάτων. Με βάση τα πειράματα αυτά και την εμπειρία διεξαγωγής τους, παρέχεταιεπίσης πρακτικός οδηγός υλοποίησης σχετικών εφαρμογών.Αναπτύσσονται επίσης προχωρημένες έννοιες, όπως η δυνατότητα ανίχνευσης γεγονότων μέσωαγορών προβλέψεων. Η απάντηση προσεγγίζεται μέσα από την περιέλιξη της χρονοσειράς των τιμώνμε την ροή σχετικών γεγονότων. Η προσέγγιση επαληθεύεται θεωρητικά με χρήση του μάλλονπερισσότερου εκτενούς συνόλου δεδομένων αγορών προβλέψεων που έχει μέχρι σήμερα αναλυθεί.Εν τέλει, η παρούσα διατριβή φιλοδοξεί να αποτελέσει μοναδική συνεισφορά στο ερευνητικό πεδίο τωναγορών προβλέψεων και της πρόβλεψης γενικότερα, μελετώντας τον εν λόγω μηχανισμό σε εύρος καιβάθος, καλύπτοντας ζητήματα από την εξαντλητική βιβλιογραφική ανασκόπηση ως ένα νέο συνεκτικόμηχανισμό λειτουργίας, επίσης από τη μοντελοποιήση ως τις προσομοιώσεις, τις εκτενείς μελέτεςπερίπτωσης και προχωρημένα θέματα.