Ανάπτυξη παραλληλοποιήσιμων υπολογιστικών μεθοδολογιών χρονο-βηματισμού για την ανάλυση και τον σχεδιασμό δικτύων νευρώνων πολλαπλών χωροχρονικών κλιμάκων και πολύ μεγάλης κλίμακας

Abstract

The brain with roughly 100 billion connected neurons constitutes indisputably, the most complicated and bigger scale network that we know. The operation of brain mainly, is based on the physiology and the interaction of neurons that determines the emergent dynamics which is developed in a macroscopic/clinically level. The time and space scale of behavior and the development of phenomena are extended by the operation of each one of neuron that includes important degree of heterogeneity (e.g. differents time scales of activation of ions in the membrane of neuron), in the interaction and transmission of signal (that it includes different space scales of transmission), in the network/body, up to the event of symptoms of illness in the individual. Due to the complexity of phenomena, the modem tendency in the mathematic description and the calculating simulation of dynamics of networks of neurons and more specifically, the dynamics of neurological dysfunctions is the growth of detail-microscopic models. Basic aim of this thesis is the growth of systematic calculating methodologies for bridging of the gap in time and space, between the level in which the operation of neurons can be available in detail description (microscopic-atomistic) and their interactions and the level in which there is desirable the analysis of presented dynamics and the planning of systems of control of symptoms in the organism (macroscopic level). In the frames of the present thesis, it was developed a calculating frame which allows in big scale simulators of dynamics of neurons of microscopic-atomistic level to immediately execute analysis in macroscopic level, without being essential the passage from an intermediary or a macroscopic level (conventional) description of the examined dynamics, via macroscopic equations in closed form (e.g. under the form of certain differential equations and/or differential-absolute equations). In this way, the proposed frame is general as for his application, adapting it suitably in each individualistic simulator. In the first part of the thesis there are being presented the main models of description of neurons, as well as the qualitative attributes that they present. Accent is given in the connection of dynamics with the way bum of neurons. Particularly, we examine thoroughly the more often presented dynamic behaviors of the neurons of Morris-Lecar type. Afterwards, developing the heart of theory of complexity, that is to say the theory of networks, there are being presented the most known forms of networks, Erdos and Renyi, Watts and Strogatz (WS) small world and finally the free scale networks Barabasi. Particular accent was given in their characteristics sizes as the characteristic length and the clustering coefficient. In capital 5 is developed a microscopic model combining the theory of networks and the biophysical description of neurons Morris-Lecar. The prototype part of this description is the appointment of the effect of the size of network in the macroscopic behavior of such systems: concretely, depending on the density of the network connections there are being observed different qualitatively situations with complicated non-linear dynamics that emerge with small changes in the density of connections. The capital 6 is focused on the main methodology of Equation-Free that is used for the systematic study and analysis of macroscopic dynamics from microscopic simulators which are used as “black boxes”. Also, it is presented the significance of the timestepper as well as the way in which this can be interlinked with advanced techniques of numerical analysis of tables-matrix free that are suitable for big scale systems, for the finding of points of balance, periodical solutions, the calculation of eigenvalues, the development of bifurcation diagram and finally, the study of rare events (by calculating the first time passage). Very important and original element in the analysis of problems of dynamics of neurons in networks is the connection of Equation Free methodology with the simulating annealing, a statistical technique of finding the most optimal solution, from the region of statistical physics. The main result of this hybrid method which is presented in capital 7, is that the dynamics of system, with use of microscopic simulator, it is led in a coarse-grained slow manifold of the “few” macroscopic variables. The new methodology that is being proposed is general under the significance that it can be applied in very big crowd of networks of neurons. In the two last capitals we set forth the main applications of the methodology that was developed in the capital 6 and 7. In the first application (capital 8) it is developed a cellular automata model on networks with constant connectivity and individualistic rules of interaction and transmission of signal. Leading the dynamics of microscopic simulator with the proposed methodology we calculate the steady states of the coarses veriables, their stability and the coarse grained bifurcation diagram. Finally, again using the hybrid method and constructing an Langevin equation with the Equation Free method, we find successfully the first mean time passage to escape of metastable situation. Finally, in the capital 9 we generalise the method in systems that are being develop in heterogeneous random networks with different per neuron degrees of interconnection. With the use of the proposed methodology it is analyzed the behavior of the system and are manufactured the coarse grained bifurcation diagrams on various prices of parameters as are the probability of activation of neurons and the connection probability of two neurons in the network. In the last capital it is being described the way in which has been parallelized the proposed methodology for the confrontation of increased calculating requirements, due to the big scale of problems that are being examined.

Ο εγκέφαλος με περίπου 100 δισεκατομμύρια συνδεδεμένους νευρώνες αποτελεί αδιαμφισβήτητα το πιο πολύπλοκο και μεγαλύτερης κλίμακας δίκτυο που γνωρίζουμε. Η λειτουργία του εγκεφάλου εν πολλοίς βασίζεται στην φυσιολογία και την αλληλεπίδραση των νευρώνων κυττάρων, που καθορίζει την εμφανιζόμενη (emergent) δυναμική που εξελίσσεται σε μακροσκοπικό/κλινικά παρατηρήσιμο επίπεδο. Οι χρονικές και χωρικές κλίμακες συμπεριφοράς και εξέλιξης των φαινομένων εκτείνονται από την λειτουργία του κάθε ένα νευρώνα που εμπεριέχει σημαντικό βαθμό ετερογένειας (π.χ. διαφορετικοί χρόνοι ενεργοποιήσεις ιόντων στην μεμβράνη του νευρώνα), στην αλληλεπίδραση και μετάδοση σήματος (που περιλαμβάνει διαφορετικές χωρικές κλίμακες μετάδοσης), στο δίκτυο/όργανο μέχρι την εκδήλωση των συμπτωμάτων της νόσου στο άτομο. Λόγω της πολυπλοκότητας των φαινομένων η σύγχρονη τάση στη μαθηματική περιγραφή και την υπολογιστική προσομοίωση της δυναμικής δικτύων νευρώνων και ειδικότερα της δυναμικής νευρολογικών δυσλειτουργιών είναι η ανάπτυξη λεπτομερών-μικροσκοπικών μοντέλων. Βασικός σκοπός αυτής της διατριβής είναι η ανάπτυξη συστηματικών υπολογιστικών μεθοδολογιών για την γεφύρωση του χάσματος στο χρόνο και στο χώρο, μεταξύ του επιπέδου στο οποίο μπορεί να είναι διαθέσιμη η λεπτομερής περιγραφή (μικροσκοπική-ατομιστική) της λειτουργίας των νευρώνων και των αλληλεπιδράσεών τους και του επιπέδου στο οποίο είναι επιθυμητή η ανάλυση της εμφανιζόμενης δυναμικής και εν τέλει ο σχεδιασμός συστημάτων ελέγχου των συμπτωμάτων στον οργανισμό (μακροσκοπικό επίπεδο). Στα πλαίσια της παρούσας διατριβής αναπτύχθηκε ένα υπολογιστικό πλαίσιο το οποίο επιτρέπει σε μεγάλης κλίμακας προσομοιωτές της δυναμικής νευρώνων μικροσκοπικού-ατομιστικού επιπέδου να εκτελούν άμεσα ανάλυση σε μακροσκοπικό επίπεδο, χωρίς να είναι απαραίτητο το πέρασμα από μια ενδιάμεση ή μακροσκοπικού επιπέδου (συμβατική) περιγραφή της εξεταζόμενης δυναμικής της, μέσω μακροσκοπικών εξισώσεων σε κλειστή μορφή (π.χ. υπό την μορφή μερικών διαφορικών εξισώσεων ή/και διαφορικών-ολοκληρωτικών εξισώσεων). Κατά αυτό τον τρόπο, το προτεινόμενο πλαίσιο είναι γενικό ως προς την εφαρμογή του, προσαρμόζοντας το κατάλληλα στον εκάστοτε ατομικιστικό προσομοιωτή. Στο πρώτο μέρος της εργασίας παρουσιάζονται τα κύρια μοντέλα περιγραφής των νευρώνων, καθώς και ποιοτικές ιδιότητες που εμφανίζουν. Έμφαση δίνεται στην σύνδεση της δυναμικής με τον τρόπο πυροδότησης των νευρώνων. Ιδιαίτερα παρουσιάζονται αναλυτικά οι πιο συχνά εμφανιζόμενες δυναμικές συμπεριφορές στους νευρώνες τύπου Morris-Lecar. Στη συνέχεια αναπτύσσοντας τη καρδιά της θεωρίας πολυπλοκότητας στην περιοχή, δηλαδή τη θεωρία δικτύων, παρουσιάζονται οι πιο γνωστές μορφές δικτύων, Erdos και Renyi, Watts και Strogatz (WS) μικρού κόσμου (small world) και τέλος δίκτυα Barabasi ελευθέρας κλίμακας. Ιδιαίτερη έμφαση δόθηκε στα χαρακτηριστικά τους μεγέθη όπως χαρακτηριστικό μήκος και οι συντελεστές ομάδας. Στο κεφάλαιο 5 αναπτύσσεται ένα μικροσκοπικό μοντέλο συνδυάζοντας τη θεωρία δικτύων και την βιοφυσική περιγραφή νευρώνων Morris-Lecar. Το πρωτότυπο κομμάτι αυτής της περιγραφής είναι η ανάδειξη της επίδρασης του μεγέθους του δικτύου στην μακροσκοπική συμπεριφορά τέτοιων συστημάτων: συγκεκριμένα ανάλογα με την πυκνότητα των συνδέσεων του παρατηρούνται διαφορετικές ποιοτικά καταστάσεις με πολύπλοκη μη-γραμμική δυναμική οι οποίες αναδύονται με μικρές αλλαγές στην πυκνότητα των συνδέσεων. Στο κεφάλαιο 6 παρατίθεται η κύρια μεθοδολογία «Ελεύθερη Εξισώσεων» (Equation-Free) που χρησιμοποιείται για τη συστηματική μελέτη και ανάλυση της μακροσκοπικής δυναμικής από μικροσκοπικούς προσομοιωτές οι οποίοι χρησιμοποιούνται ως «μαύρα κουτιά». Παρουσιάζονται η έννοια του χρονοβηματιστή (timestepper) καθώς και ο τρόπος που αυτός μπορεί να διασυνδεθεί με προχωρημένες τεχνικές αριθμητικής ανάλυσης (ελεύθερων πινάκων-matrix free), οι οποίες είναι κατάλληλες για μεγάλης κλίμακας συστήματα, για την εύρεση σημείων ισορροπίας, περιοδικών λύσεων, τον υπολογισμό ιδιοτιμών, την κατασκευή διαγραμμάτων διακλάδωσης και τέλος τη μελέτη σπανίων γεγονότων (rare-events). Πολύ σημαντικό και πρωτότυπο στοιχείο στην ανάλυση προβλημάτων της δυναμικής νευρώνων σε δίκτυα είναι η σύνδεση της μεθοδολογίας «ελεύθερης εξισώσεων» με την τεχνική εύρεσης βέλτιστης λύσης, από την περιοχή της στατιστικής φυσικής, προσομοιωμένης ανόπτησης (simulated annealing). Το κύριο αποτέλεσμα της υβριδικής αυτής μεθόδου η ο οποία παρουσιάζεται στο κεφάλαιο 7 είναι ότι η δυναμική του συστήματος, με χρήση του μικροσκοπικού προσομοιωτή, οδηγείται στην αδρομερή (coarse-grained) αργή πολλαπλότητα των «λίγων» μακροσκοπικών μεταβλητών. Η καινούργια μεθοδολογία που προτείνεται είναι γενική υπό την έννοια ότι μπορεί να εφαρμοστεί σε πολύ μεγάλο πλήθος δικτύων νευρώνων (με διακριτές τιμές). Στα δύο τελευταία κεφαλαία παρατίθενται οι κύριες εφαρμογές της μεθοδολογίας που αναπτύχτηκε στα κεφαλαία 6 και 7. Στη πρώτη εφαρμογή (κεφαλαίο 8) αναπτύσσεται ένα μοντέλο κυτταρικών αυτομάτων (cellular automata) πάνω σε ένα τυχαίο δίκτυο με σταθερή συνδεσιμότητα με ατομικιστικούς κανόνες αλληλεπίδρασης και μετάδοσης του σήματος. Οδηγώντας την δυναμική του μικροσκοπικού προσομοιωτή με την προτεινόμενη μεθοδολογία υπολογίζουμε τα σημεία ισορροπίας, την ευστάθεια τους και κατασκευάζουμε το αδρομερές διάγραμμα διακλάδωσης. Τέλος, πάλι χρησιμοποιώντας τη υβριδική μέθοδο και κατασκευάζοντας με την μέθοδο «Ελεύθερη Εξισώσεων» μια εξίσωση Langevin, βρίσκουμε επιτυχώς το μέσο χρόνο πρώτης διαφυγής της μετά-ευσταθούς κατάστασης (first mean time to escape). Στο κεφάλαιο 9 γενικεύουμε την μέθοδο σε συστήματα που εξελίσσονται σε ετερογενή τυχαία δίκτυα με διαφορετικούς ανά νευρώνα βαθμούς διασύνδεσης. Με τη χρήση της προτεινόμενης μεθοδολογίας αναλύεται η συμπεριφορά του συστήματος και κατασκευάζονται τα αδρομερή διαγράμματα διακλάδωσης για διάφορες τιμές παραμέτρων όπως είναι η πιθανότητα ενεργοποίησης των νευρώνων και η πυκνότητα διασύνδεσης των νευρώνων στο δίκτυο. Τέλος στο τελευταίο κεφάλαιο περιγράφεται ο τρόπος με τον οποίο παραλληλοποιήθηκε η προτεινόμενη μεθοδολογία για την αντιμετώπιση των αυξημένων υπολογιστικών απαιτήσεων λόγω της μεγάλης κλίμακας των προβλημάτων που εξετάζονται.