Hand texture priors for inverse rendering of hand images in the wild

Abstract

This PhD dissertation addresses the challenge of reconstructing accurate 3D hand geometry and texture from unconstrained RGB images, a fundamentally ill-posed inverse rendering problem. Human hands are uniquely difficult to capture due to their highly articulated nature, frequent self-occlusion, and complex appearance, making monocular 3D hand reconstruction extremely challenging. Overcoming these limitations is crucial, as robust vision-based hand capture would enable a wide range of applications, including immersive AR/VR interactions, markerless motion capture, fine-grained gesture recognition (e.g., sign language interpretation) and telemedicine. To tackle these challenges, the dissertation proposes a staged framework that progressively relaxes input constraints from multi-view to monocular setups while incorporating increasingly strong learned priors. First, a Static Multiview Refinement (SMVR) method uses multiple calibrated views and differentiable rendering to refine hand pose, shape, and appearance so that rendered model outputs are photometrically consistent with all observed images. Second, Dynamic Multiview Refinement (DMVR) extends this approach to multiview video sequences, enforcing temporal coherence across frames and disentangling texture from illumination for smooth, consistent reconstructions over time. Finally, a Monocular Texture-Guided Reconstruction framework addresses the extreme ambiguity of single-image hand capture by introducing a learned texture prior trained on in-the-wild data.In a fully differentiable pipeline, the monocular method jointly estimates hand pose, shape, and texture from a single RGB image, achieving high geometric fidelity that surpasses current baselines. Overall, by fusing photometric consistency, temporal dynamics, and learned texture priors, this work enables robust, high fidelity 3D hand reconstruction in-the-wild, bridging the gap between controlled setups and real-world applications.

Η παρούσα διδακτορική διατριβή ασχολείται με το πρόβλημα της ανακατασκευής ακριβούς τρισδιάστατης γεωμετρίας και υφής του ανθρώπινου χεριού από μη ελεγχόμενες τρικάναλες εικόνες, το οποίο είναι θεμελιώδες πρόβλημα αντίστροφης απόδοσης. Η ανακατασκευή χεριών αποτελεί ιδιαίτερα απαιτητικό αντικείμενο έρευνας, λόγω του υψηλού βαθμού άρθρωσης, της συχνής αυτοαπόκρυψης και της σύνθετης οπτικής τους εμφάνισης, γεγονός που καθιστά την τρισδιάστατη εκτίμηση από μια όψη εξαιρετικά δύσκολη. Η αποτελεσματική αντιμετώπιση του προβλήματος είναι κρίσιμη, καθώς επιτρέπει την ανάπτυξη εφαρμογών όπως αλληλεπιδράσεις σε περιβάλλοντα επαυξημένης και εικονικής πραγματικότητας, καταγραφή κίνησης χωρίς φυσικούς δείκτες, αναγνώριση λεπτομερών χειρονομιών (π.χ. νοηματική γλώσσα) και εφαρμογές τηλεϊατρικής. Για την αντιμετώπιση των παραπάνω προκλήσεων, η διατριβή προτείνει ένα σταδιακό ερευνητικό πλαίσιο, στο οποίο οι περιορισμοί των εισόδων χαλαρώνουν προοδευτικά, από πολυκάμερες διατάξεις σε μονοκαμερες, ενώ ταυτόχρονα ενσωματώνεται ολοένα και ισχυρότερη πρότερη γνώση μέσω μάθησης. Αρχικά, παρουσιάζεται μια μέθοδος στατικής πολυκαμερικής βελτίωσης, η οποία αξιοποιεί πολλαπλές βαθμονομημένες όψεις και διαφορίσιμη απόδοση εικόνας για τη βελτίωση της πόζας, του σχήματος και της εμφάνισης του χεριού, επιβάλλοντας φωτομετρική συνέπεια μεταξύ των παρατηρούμενων εικόνων και προβολών του μοντέλου. Στη συνέχεια, το πλαίσιο επεκτείνεται σε δυναμικές πολυκαμερικές ακολουθίες, εισάγοντας χρονική συνοχή και αποσυσχέτιση υφής και φωτισμού, με στόχο ομαλές και συνεπείς ανακατασκευές στον χρόνο. Τέλος, αντιμετωπίζεται το ιδιαίτερα αμφίσημο πρόβλημα της μονοκαμερικής ανακατασκευής, μέσω της εισαγωγής ενός μοντέλου υφής βαθιάς μάθησης, το οποίο καθοδηγεί την εκτίμηση της γεωμετρίας και της εμφάνισης ακόμη και σε μη ορατές περιοχές. Στο πλαίσιο μιας πλήρως διαφορίσιμης αρχιτεκτονικής, οι προτεινόμενες μέθοδοι επιτυγχάνουν από κοινού την εκτίμηση της σιλουέτας, του σχήματος και της υφής του χεριού από περιορισμένα οπτικά δεδομένα, επιτυγχάνοντας υψηλή γεωμετρική ακρίβεια και οπτική πιστότητα. Συνολικά, η παρούσα διατριβή συμβάλλει στην αξιόπιστη και υψηλής ποιότητας τρισδιάστατη ανακατασκευή χεριών σε φυσικές συνθήκες λήψης, γεφυρώνοντας το χάσμα μεταξύ ελεγχόμενων πειραματικών διατάξεων και πραγματικών εφαρμογών.