Deep fatigue-driven motion prediction, modulation and synthesis

Abstract

Modeling the impact of fatigue in human motions is essential for developing both animation and biomechanical applications to, respectively, render and explore effects in the kinesiology and pathology of an individual under fatigue conditions. More specifically, in the biomechanics field, fatigue is crucial for creating subject-specific medical strategies and sophisticated ergonomic designs aiming at preventing injuries and chronic fatigue effects. Regarding motion synthesis and graphics frameworks, modeling fatigue in human movements contributes in producing physically-plausible motion sequences for animations and games creating natural action transitions as reactions to external loads causing fatigue effects, as well as for creating realistic digital twins in Virtual Reality (VR), enhancing the immersive experience. Especially, to date, animators, game/VR developers rely on hand-crafted/hard-coded fatigue animations or rendering fatigued motion patterns from motion capture, while their work could be benefited from automatic data-driven solutions. Despite the various advantages such as the above, recent data-driven motion synthesis and musculoskeletal estimation frameworks do not consider the impact of fatigue while generating temporally-evolving motion sequences, allowing for the simulation of a never-ending active human state and the accumulation of non-negligible errors (e.g., not simulating the gradual reduction of maximum exerted joint torques and muscle forces after a repetitive fatiguing task). To address this gap in literature, two fatigue-driven motion synthesis frameworks, namely Fatigue-PINN and FatigueFusion, accompanied by a biomechanical parameter (i.e. joint force) estimation framework enhanced with unsupervised domain adaptation, were developed. Fatigue-driven motion synthesis, falling under the category of "physics-based motion synthesis", requires the manifestation of possible variations in movement patterns and posture due to the inevitable decrease in maximum exerted torques and muscle forces as well as changes in the range of joint angles under fatigue conditions. Hence, leveraging biomechanical laws, 3D musculoskeletal modeling techniques, and physics-informed deep learning methods are required for modeling the temporal dynamics, biomechanical constraints, and subject-specific progression patterns characterizing the fatigue state. To that end, Fatigue-PINN synthetically models the temporal accumulation of fatigue in human movements by exploiting physics-based domain knowledge, while FatigueFusion extends the latter framework by also accounting for the latent infusion of fatigue-specific motion features across time, space and intensity, to produce diversified novel fatigued movements and ultimately biomechanically modeling the whole spectrum of fatigue. Our joint force estimation domain adaptation model complements the above frameworks, by laying the foundation for developing robust data-driven surrogate models for musculoskeletal dynamics estimation tasks, providing insights into the internal body state essential for fatigue modeling, while generalizing to more than one actions classes within the same model. Extensive quantitative experiments across accuracy and variability metrics, statistical analyses, ablation and perceptual studies, and the generation of high quality animation sequences, support the effectiveness and validity of the proposed frameworks. Overall, modeling fatigue in human movements being widely neglected in animation and biomechanics pipelines, as well as fatigue-driven motion synthesis techniques being absent from literature, constitutes the main motivation behind this dissertation.

Η μοντελοποιήση των επιπτώσεων της κόπωσης στις ανθρώπινες κινήσεις είναι απαραίτητη τόσο για την ανάπτυξη εφαρμογών τρισδιάστατων κινουμένων σχεδίων (animation) όσο και εμβιομηχανικών εφαρμογών, με σκοπό, αντίστοιχα, την απεικόνιση και τη διευρεύνηση μεταβολών στη κινησιολογία και τη παθολογία ενός ατόμου υπό συνθήκες κόπωσης. Πιο συγκεκριμένα, στο τομέα της εμβιομηχανικής, η διερεύνηση της κούρασης είναι καθοριστικής σημασίας για τη δημιουργία εξατομικευμένων ιατρικών στρατηγικών και προηγμένων εργονομικών σχεδίων που στοχεύουν στη πρόληψη τραυματισμών και των επιπτώσεων της χρόνιας κόπωσης. ´Οσον αφορά τις εφαρμογές σύνθεσης κίνησης και γραφικών, η μοντελοποίηση της κόπωσης στις ανθρώπινες κινήσεις συμβάλλει στη δημιουργία φυσικώς εφικτών ακολουθιών κίνησης για κινούμενα σχέδια και βιντεοπαιχνίδια δημιουργώντας φυσικές μεταβάσεις ενεργειών δράσης ως αντιδράσεις σε εξωτερικά φορτία που προκαλούν κόπωση, καθώς και στη δημιουργία ρεαλιστικών ψηφιακών διδύμων για εφαρμογές Εικονικής Πραγματικότητας (ΕΠ) ενισχύοντας την εμπειρία εμβύθισης. Ειδικότερα, μέχρι σήμερα, οι δημιουργοί κινουμένων σχεδίων και οι προγραμματιστές βιντεοπαιχνιδιών/εφαρμογών ΕΠ βασίζονται σε σχεδιασμένες με το χέρι/ προγραμματισμένες με κώδικα κουρασμένες ακολουθίες κίνησης ή στην απόδοση μοτίβων κίνησης που υποδηλώνουν κόπωση από δεδομένα καταγραφής κίνησης (motion capture), ενώ η δουλειά τους θα μπορούσε να ωφεληθεί από αυτόματες λύσεις βαθιάς μάθησης. Παρά τα ποικίλα πλεονεκτήματα της μοντελοποίησης της κούρασης στη κίνηση, όπως αυτά που αναφέρονται παραπανω, οι πρόσφατες εφαρμογές βαθιάς μάθησης για σύνθεση κίνησης και εκτίμηση δυνάμεων του μυοσκελετικού συστήματος δεν λαμβάνουν υπόψη την επίδραση της κόπωσης κατά τη παραγωγή χρονικά εξελισσόμενων ακολουθιών κίνησης, με αποτέλεσμα τη προσομοίωση μιας ατέρμονης ενεργής ανθρώπινης κατάστασης και τη συσσώρευση μη αμελητέων σφαλμάτων (π.χ. δεν προσομοιώνουν τη σταδιακή μείωση των μέγιστων ροπών που ασκούνται στις αρθρώσεις και των μυϊκών δυνάμεων έπειτα από μια επαναλαμβανόμενη άσκηση κόπωσης). Προκειμένου να καλυφθεί αυτό το κενό στη βιβλιογραφία, αναπτύχθηκαν δύο μοντέλα σύνθεσης κουρασμένης κίνησης, συγκεκριμένα το Fatigue-PINN και το FatigueFusion, συνοδευόμενα από μια εφαρμογή εκτίμησης εμβιομηχανικών παραμέτρων (δηλ. δυνάμεων που αναπτύσσονται στις αρθρώσεις) η οποία ενσωματώνει τεχνικές μη-εποπτευόμενης προσαρμογής πεδίου (unsupervised domain adaptation). Η σύνθεση κίνησης βάσει κόπωσης (fatigue-driven motion synthesis), η οποία εμπίπτει στη κατηγορία της "σύνθεσης κίνησης στηριζόμενη στους νόμους της φυσικής" (physics-based motion synthesis), απαιτεί την απεικόνιση των πιθανών διακυμάνσεων στα μοτίβα της κίνησης και στη στάση του σώματος, οι οποίες οφείλονται στην αναπόφευκτη μείωση των μεγιστων ασκούμενων ροπών στις αρθρώσεις και των μυϊκών δυνάμεων, καθώς και στις αλλαγές στο εύρος των γωνιών των αρθρώσεων λόγω κόπωσης. Ως εκ τούτου, για τη μοντελοποίηση των χρονικά εξελισσόμενων δυνάμεων, των εμβιομηχανικών περιορισμών, και των εξατομικευμένων προτύπων εξέλιξης που χαρακτηρίζουν τη κουρασμένη κατάσταση του ανθρωπίνου σώματος, απαιτείται η αξιοποίηση των νόμων της εμβιομηχανικής, τεχνικών τρισδιάστατης μοντελοποίησης του μυοσκελετικού συστήματος, και μεθόδων βαθιάς μάθησης που βασίζονται στη φυσική (physics-informed deep learning methods). Για το σκοπό αυτό, το Fatigue-PINN μοντελοποιεί συνθετικά τη χρονική συσσώρευση της κόπωσης στις ανθρώπινες κινήσεις, αξιοποιώντας γνώσεις του πεδίου της φυσικής, ενώ το FatigueFusion επεκτείνει το FatiguePINN, λαμβάνοντας επίσης υπόψη την ενσωμάτωση στο λανθάνοντα χώρο (latent space) χρονικών, χωρικών κουρασμένων χαρακτηριστικών κίνησης και χαρακτηριστικών έντασης της κούρασης, προκειμένου να παράγει καινούργιες και ποικίλες κουρασμένες κινήσεις και, τελικά, να μοντελοποιήσει εμβιομηχανικά ολόκληρο το φάσμα της κόπωσης. Το domain adaptation μοντέλο μας για την εκτίμηση δυνάμεων στις αρθρώσεις, συμπληρώνει τα παραπάνω μοντέλα, θέτοντας τα θεμέλια για την ανάπτυξη ανθεκτικών υποκατάστατων (surrogate) μοντέλων βαθιάς μάθησης για την εκτίμηση των δυνάμεων του μυοσκελετικού συστήματος, παρέχοντας γνώσεις σχετικά με την εσωτερική κατάσταση του ανθρωπίνου σώματος, οι οποίες είναι απαραίτητες για τη μοντελοποίηση της κόπωσης, ενώ παράλληλα μπορεί να γενικεύσει σε περισσότερες από μια κατηγορίες ενεργειών δράσης εντός του ίδιου μοντέλου. Εκτεταμένα ποσοτικά πειράματα αξιοποιώντας μετρικές ακρίβειας και μεταβλητότητας, στατιστικές αναλύσεις, μελέτες αφαίρεσης (ablation studies) και αντιληπτικές μελέτες, καθώς επίσης η παραγωγή υψηλής ποιότητας ακολουθιών κίνησης, υποστηρίζουν την αποτελεσματικότητα και την εγκυρότητα των προτεινόμενων μοντέλων. Συνοψίζοντας, το γεγονός ότι τα εμβιομηχανικά μοντέλα και τα μοντέλα σύνθεσης κίνησης παραμελούν ευρέως τη μοντελοποίηση της κόπωσης στις ανθρώπινες κινήσεις, καθώς και η απουσία τεχνικών βαθιάς μάθησης για τη σύνθεση κουρασμένης κίνησης από τη βιβλιογραφία, αποτελούν τα κύρια κίνητρα πίσω από τη παρούσα διδακτορική διατριβή.