Machine learning and complex systems time series analysis in quantitative finance and risk management

Abstract

Quantitative finance is a rapidly evolving scientific field that leverages methods from disciplines such as Mathematics, Physics, and Computer Science to understand and predict financial phenomena. At the same time, it is closely linked to financial risk management, providing tools for the assessment, monitoring, and prediction of uncertainty as well as extreme events in financial markets. This PhD thesis approaches quantitative finance from the perspective of complex systems and machine/deep learning. Although both of these scientific fields are relatively recent, they already possess a strong theoretical foundation and numerous applications in finance. However, despite their growing use, there has not yet been a systematic investigation of the potential integration of these areas for application in finance, particularly in risk management. A primary motivation of this thesis was to address this gap in the literature, shedding light on this relatively unexplored scientific field. More specifically, the main objective was the development of machine/deep learning models to forecast market volatility and, consequently, potential risk. These models were designed to incorporate as input information about market dynamics revealed through complexity-based methods. To achieve this goal, an extensive analysis of financial markets was conducted using quantitative techniques derived from the science of complex systems and econophysics. Before focusing exclusively on financial data, the feasibility of applying methods from different scientific disciplines to the study of extreme phenomena in complex systems was examined. In this context, financial techniques were applied to the study of space weather, specifically to the forecasting of magnetic storms, highlighting the importance of the interdisciplinary perspective. Subsequently, the study concentrated solely on financial data. Initially, the potential to detect critical dynamics in time series using the Method of Critical Fluctuations was investigated. While this method has been applied across various scientific fields, this was the first detailed and comprehensive analysis in finance. Next, the underlying mechanisms contributing to the formation of financial “bubbles” and market crashes were studied. In this context, an enhanced version of the Log-Periodic Power Law model was employed to explore the role of external factors in triggering the collapse of an already unstable financial system. At the same time, the dynamic complexity and fractal characteristics of financial time series during periods of high uncertainty were examined. Measures such as entropy, Fisher information, and multifractal analysis were applied to quantify levels of complexity and multifractality before and during the COVID-19 pandemic. As an extension of this analysis, one of the most fundamental issues in economics, which has preoccupied the scientific community for decades, was studied: the Efficient Market Hypothesis, formulated by Eugene F. Fama. In this context, the evolution of market efficiency levels and the predictability of various financial instruments were investigated. Moreover, this thesis proposed a novel analysis plane whose coordinates consist of Approximate Entropy and the multifractal spectrum, providing a tool to study the randomness levels of financial time series. This approach enabled the assessment of both randomness and structural complexity, offering deeper insights into market dynamics. Following this in-depth analysis of financial markets from the perspective of complex systems and a thorough examination of the information revealed by complexity measures, machine/deep learning models were developed that incorporate these complexity measures as features to forecast market volatility. It is noteworthy that this represents the first time such an analysis has been conducted for market volatility, as existing models typically rely on traditional financial techniques and historical price data. The main findings of this thesis can be summarized as follows: (i) The application of methods from different scientific disciplines to the analysis of complex systems can yield remarkable results. (ii) Methods based on the science of complex systems can significantly enhance the ability to predict extreme financial events, reveal key features of financial time series that facilitate the identification of periods of market inefficiency, and effectively measure the temporal evolution of market randomness. Consequently, there appear to be periods during which financial markets are, in principle, predictable, challenging the theoretical basis of the Efficient Market Hypothesis. (iii) The integration of complex systems science with machine/deep learning methods is feasible and capable of producing meaningful results. Specifically, incorporating features based on complexity measures improves the predictive performance of machine/deep learning models, demonstrating their ability to capture hidden market structures and nonlinear dependencies. This novel approach bridges the gap between econophysics and machine/deep learning, paving the way for more robust and adaptive financial forecasting models.

Η ποσοτική χρηματοοικονομική αποτελεί ένα δυναμικά αναπτυσσόμενο επιστημονικό πεδίο, το οποίο αξιοποιεί μεθόδους από τομείς όπως τα Μαθηματικά, τη Φυσική και την Επιστήμη των Υπολογιστών με σκοπό την κατανόηση και πρόβλεψη χρηματοοικονομικών φαινομένων. Παράλληλα, συνδέεται άρρηκτα με τη διαχείριση χρηματοοικονομικών κινδύνων, προσφέροντας εργαλεία για την εκτίμηση, παρακολούθηση και πρόβλεψη της αβεβαιότητας καθώς και των ακραίων γεγονότων που εμφανίζονται στις χρηματοοικονομικές αγορές. Η παρούσα διδακτορική διατριβή εστιάζει στο πεδίο της ποσοτικής χρηματοοικονομικής από την οπτική των πολύπλοκων συστημάτων και της μηχανικής/βαθιάς μάθησης. Παρότι και οι δύο αυτοί επιστημονικοί χώροι είναι σχετικά σύγχρονοι, διαθέτουν ήδη ισχυρό θεωρητικό υπόβαθρο και πολυάριθμες εφαρμογές στον τομέα των χρηματοοικονομικών. Ωστόσο, παρά τη διαρκώς αυξανόμενη χρήση τους, μέχρι σήμερα δεν έχει υπάρξει συστηματική μελέτη της δυνατότητας ενοποίησης αυτών των χώρων με στόχο την εφαρμογή τους στα χρηματοοικονομικά και ειδικότερα στη διαχείριση κινδύνων. Βασικό κίνητρο της παρούσας διδακτορικής διατριβής ήταν να καλύψει αυτό το κενό στη βιβλιογραφία ρίχνοντας φως αυτό το σχετικά ανεξερεύνητο επιστημονικό πεδίο. Πιο συγκεκριμένα, κύριος στόχος ήταν η ανάπτυξη μοντέλων μηχανικής/βαθιάς μάθησης για την πρόβλεψη της μεταβλητότητας των αγορών και, κατ’ επέκταση, του ενδεχόμενου κινδύνου. Τα μοντέλα αυτά σχεδιάστηκαν προκειμένου να λαμβάνουν ως είσοδο πληροφορίες για τη δυναμική της αγοράς που αποκαλύπτονται μέσω μεθόδων πολυπλοκότητας. Για την επίτευξη αυτού του στόχου, πραγματοποιήθηκε μια εκτεταμένη ανάλυση των χρηματοοικονομικών αγορών με τη χρήση ποσοτικών μεθόδων προερχόμενων από την επιστήμη των Πολύπλοκων Συστημάτων και την Οικονομική Φυσική. Ωστόσο, πριν εστιάσουμε αποκλειστικά σε χρηματοοικονομικά δεδομένα, εξετάσαμε τη δυνατότητα εφαρμογής μεθόδων από διαφορετικούς επιστημονικούς τομείς στη μελέτη ακραίων φαινομένων που εκδηλώνονται σε πολύπλοκα συστήματα. Στο πλαίσιο αυτό, εφαρμόστηκαν χρηματοοικονομικές τεχνικές στη μελέτη του διαστημικού καιρού και ειδικότερα στην πρόβλεψη μαγνητικών καταιγίδων, αναδεικνύοντας τη σημασία της διεπιστημονικής προσέγγισης. Στη συνέχεια, η μελέτη επικεντρώθηκε αποκλειστικά σε χρηματοοικονομικά δεδομένα. Αρχικά, διερευνήθηκε η δυνατότητα εντοπισμού κρίσιμης δυναμικής σε χρονοσειρές μέσω της Μεθόδου Κρίσιμων Διακυμάνσεων, η οποία, αν και έχει εφαρμοστεί σε αρκετούς επιστημονικούς τομείς, αυτή ήταν η πρώτη φορά που πραγματοποιήθηκε μια λεπτομερής και ενδελεχής ανάλυση στον τομέα των χρηματοοικονομικών. Ακολούθως, μελετήθηκαν οι υποκείμενοι μηχανισμοί που συμβάλλουν στον σχηματισμό μιας χρηματοοικονομικής “φούσκας” και την κατάρρευση των αγορών. Στο πλαίσιο αυτό, χρησιμοποιήθηκε μια βελτιωμένη εκδοχή του μοντέλου Λογαριθμο-Περιοδικού Νόμου Δύναμης, προκειμένου να διερευνηθεί ο ρόλος εξωτερικών παραγόντων στην πυροδότηση της κατάρρευσης ενός ήδη ασταθούς χρηματοοικονομικού συστήματος. Παράλληλα, εξετάστηκε η δυναμική πολυπλοκότητα και τα φράκταλ χαρακτηριστικά των χρηματοοικονομικών χρονοσειρών σε περιόδους έντονης αβεβαιότητας. Εφαρμόστηκαν μέτρα όπως η εντροπία, η πληροφορία Fisher και η πολυκλασματική ανάλυση, με στόχο την ποσοτικοποίηση των επιπέδων πολυπλοκότητας και πολυκλασματικότας πριν και κατά τη διάρκεια της πανδημίας COVID-19. Ως επέκταση αυτής της ανάλυσης, μελετήθηκε ένα από τα πιο θεμελιώδη ζητήματα της επιστήμης των Οικονομικών που έχουν απασχολήσει την επιστημονική κοινότητα επί δεκαετίες: η Υπόθεση Αποτελεσματικής Αγοράς, η οποία διατυπώθηκε από τον Eugene F. Fama. Στο πλαίσιο αυτό, διερευνήθηκε η εξέλιξη των επιπέδων αποτελεσματικότητας των αγορών καθώς και η δυνατότητα πρόβλεψης διαφορετικών χρηματοοικονομικών προϊόντων. Επιπλέον, στην παρούσα διατριβή, προτάθηκε η δημιουργία ενός επιπέδου ανάλυσης του οποίου οι συντεταγμένες αποτελούνται από την Προσεγγιστική Εντροπία και το πολυκλασματικό φάσμα (Δα), παρέχοντας έτσι, ένα εργαλείο για τη μελέτη των επιπέδων τυχαιότητας των χρονοσειρών. Η προσέγγιση αυτή επέτρεψε την εκτίμηση τόσο της τυχαιότητας όσο και της δομικής πολυπλοκότητας, προσφέροντας βαθύτερες γνώσεις για τη φύση της αγοράς. Στην συνέχεια αφού ολοκληρώθηκε αυτή η εις βάθος ανάλυση των χρηματοοικονομικών αγορών από την σκοπιά των πολύπλοκων συστημάτων και διερευνήθηκαν διεξοδικά οι πληροφορίες που μπορούν να αποκαλυφθούν μέσω των μέτρων πολυπλοκότητας για την φύση των αγορών, προχωρήσαμε στην ανάπτυξη μοντέλων μηχανικής/βαθιάς μάθησης τα οποία ενσωματώνουν ως χαρακτηριστικά, μέτρα πολυπλοκότητας με στόχο την πρόβλεψη της μεταβλητότητας των αγορών. Στο σημείο αυτό αξίζει να σημειωθεί ότι αυτή ήταν η πρώτη φορά που πραγματοποιήθηκε μια τέτοια ανάλυση για την μελέτη της μεταβλητότητας των αγορών καθώς τα υφιστάμενα μοντέλα συχνά βασίζονται σε παραδοσιακές χρηματοοικονομικές τεχνικές και ιστορικά δεδομένα. Τα κύρια ευρήματα που προέκυψαν από την παρούσα διδακτορική διατριβή, μπορούν να συνοψιστούν ως εξής: (i) Η εφαρμογή μεθόδων που προέρχονται από διαφορετικούς επιστημονικούς τομείς στην ανάλυση πολύπλοκων συστημάτων μπορεί να αποφέρει αξιοσημείωτα αποτελέσματα. (ii) Η χρήση μεθόδων που βασίζονται στην επιστήμη των πολύπλοκων συστημάτων, μπορεί να βελτιώσει σημαντικά την δυνατότητα πρόβλεψης ακραίων χρηματοοικονομικών γεγονότων, να αποκαλύψει σημαντικά χαρακτηριστικά των χρηματοοικονομικών χρονοσειρών που διευκολύνουν τον εντοπισμό περιόδων αναποτελεσματικότητας της αγοράς και να μετρήσει αποτελεσματικά τη χρονική εξέλιξη της τυχαιότητας ή μη, της αγοράς. Ως αποτέλεσμα, φαίνεται ότι υπάρχουν χρονικές περίοδοι, κατά τις οποίες οι χρηματοοικονομικές αγορές είναι εν δύναμη προβλέψιμες γεγονός που έρχεται σε αντίθεση με το θεωρητικό υπόβαθρο της Υπόθεσης Αποτελεσματικής Αγοράς. (iii) Η σύνδεση της επιστήμης πολύπλοκων συστημάτων με μεθόδους μηχανικής/βαθιάς μάθησης είναι εφικτή και ικανή να παράγει ουσιαστικά αποτελέσματα. Συγκεκριμένα, ενσωματώνοντας χαρακτηριστικά που βασίζονται σε μέτρα πολυπλοκότητας, βελτιώνεται η προγνωστική απόδοση των μοντέλων μηχανικής/βαθιάς μάθησης, αποδεικνύοντας την ικανότητά τους να καταγράφουν κρυφές δομές της αγοράς και μη γραμμικές εξαρτήσεις. Αυτή η νέα προσέγγιση γεφυρώνει το χάσμα μεταξύ της Οικονομικής Φυσικής και της Μηχανικής/Βαθιάς Μάθησης, ανοίγοντας το δρόμο για πιο ισχυρά και προσαρμοστικά μοντέλα χρηματοοικονομικών προβλέψεων.