Radiance transfer prediction for real-time rendering using neural networks and geometric algebra

Abstract

Precomputed Radiance Transfer (PRT) has long been a cornerstone of real-time rendering, enabling high-fidelity global illumination under complex lighting. However, traditional PRT suffers from prohibitive precomputation costs, limited scalability to high-resolution meshes, and impracticality for dynamic or animated scenes--severely constraining its use in interactive applications. Three key challenges arise in particular: (i) the expensive computation of per-vertex spherical harmonic (SH) coefficients, (ii) the lack of adaptability to changing geometry and lighting, and (iii) the memory and latency constraints that hinder deployment in real-time pipelines. Recent advances in neural rendering and neural radiance field (NeRF) research have demonstrated the potential of deep learning networks to model complex light transport efficiently. Yet, these methods are typically restricted to image-space rendering and remain poorly suited for SH-based lighting representations or integration within mesh-based pipelines. In parallel, Conformal Geometric Algebra (CGA) has gained attention in computer graphics for its ability to represent geometric entities and transformations in a unified algebraic framework, offering a mathematically consistent way to encode spatial and lighting relationships directly on meshes. To address these limitations, we introduce Neural-GASh, a neural rendering framework that reformulates PRT within a geometric deep learning paradigm. By encoding vertex-normal pairs as CGA multivectors and utilizing neural networks to predict radiance transfer coefficients, we bypass the costly precomputation while maintaining physical interpretability. The contributions of this work are threefold. First, we show that CGA-based encodings improve training stability and expressiveness by utilizing multivectors that capture spatial and angular relationships more richly than Euclidean inputs. Second, we show that graph neural networks (GNNs), leveraging mesh connectivity, capture self-occlusion and shadowing effects that MLP-based surrogates fail to reproduce. Third, we show how to integrate the trained models into Unity for real-time rendering, for both static and animated assets. Experimental evaluation across diverse 3D meshes confirms that Neural-GASh reduces precomputation by orders of magnitude while preserving high-quality illumination, including complex shadowing. The framework scales to tens of thousands of vertices in real-time, and the Unity prototype demonstrates its feasibility for interactive use cases. In summary, this thesis establishes GNN-based PRT as a scalable and effective alternative to classical precomputation, laying groundwork for future neural rendering pipelines in graphics and virtual reality.

Ο αλγόριθμος Precomputed Radiance Transfer (PRT) αποτελεί εδώ και χρόνια ακρογωνιαίο λίθο της απόδοσης φωτός σε πραγματικό χρόνο, επιτρέποντας υψηλής πιστότητας καθολικό φωτισμό υπό πολύπλοκες συνθήκες. Ωστόσο, ο πρωτότυπος PRT παρουσιάζει σημαντικά μειονεκτήματα, όπως υπερβολικά μεγάλο προ-υπολογιστικό κόστος, περιορισμένη επεκτασιμότητα σε τρισδιάστατα μοντέλα υψηλής ανάλυσης, και αδυναμία εφαρμογής του σε δυναμικές σκηνές, γεγονός που περιορίζει σημαντικά τη χρήση του σε διαδραστικές εφαρμογές. Ειδικότερα, τρεις βασικές προκλήσεις προκύπτουν: (i) ο δαπανηρός υπολογισμός των συντελεστών σφαιρικών αρμονικών (SH) ανά κορυφή, (ii) η έλλειψη προσαρμοστικότητας σε μεταβαλλόμενη γεωμετρία και φωτισμό, και (iii) οι περιορισμοί μνήμης και καθυστέρησης που δυσχεραίνουν την ενσωμάτωσή του σε προγραμματιστικές ροές πραγματικού χρόνου. Οι πρόσφατες εξελίξεις στο πεδίο της νευρωνικής απόδοσης φωτός και στα πεδία νευρωνικής λαμπρότητας (NeRFs) έχουν δείξει τη δυναμική των νευρωνικών δικτύων στην αποδοτική μοντελοποίηση πολύπλοκων αλληλεπιδράσεων φωτός. Παρ' όλα αυτά, οι περισσότερες από αυτές τις μεθόδους περιορίζονται σε απόδοση φωτός βασισμένη σε εικόνες και δεν προσαρμόζονται εύκολα σε αναπαραστάσεις φωτισμού που βασίζονται σε SH ή σε προγραμματιστικές ροές βασισμένες σε τρισδιάστατα μοντέλα. Παράλληλα, η Σύμμορφη Γεωμετρική Άλγεβρα (CGA) έχει προσελκύσει το ενδιαφέρον της επιστημονικής κοινότητας των γραφικών λόγω της ικανότητάς της να αναπαριστά γεωμετρικές οντότητες και μετασχηματισμούς μέσα σε ένα ενιαίο αλγεβρικό πλαίσιο, προσφέροντας έναν μαθηματικά συνεπή τρόπο κωδικοποίησης χωρικών και σχέσεων φωτισμού απευθείας πάνω στα πλέγματα. Για να αντιμετωπιστούν αυτοί οι περιορισμοί, παρουσιάζουμε το Neural-GASh, ένα πλαίσιο νευρωνικής απόδοσης φωτός που επαναδιατυπώνει τον PRT μέσα από το πρίσμα γεωμετρικής άλγεβρας και βαθιάς μάθησης. Κωδικοποιώντας τα ζεύγη κορυφών-κανονικών διανυσμάτων ως πολυδιανύσματα CGA και χρησιμοποιώντας νευρωνικά δίκτυα για την πρόβλεψη των συντελεστών μεταφοράς λαμπρότητας, παρακάμπτουμε το χρονοβόρο προ-υπολογιστικό στάδιο, διατηρώντας ταυτόχρονα τη φυσική ερμηνευσιμότητα του μοντέλου. Η συνεισφορά της παρούσας εργασίας είναι τριπλή. Πρώτον, δείχνουμε ότι οι κωδικοποιήσεις βασισμένες στη CGA βελτιώνουν τη σταθερότητα εκπαίδευσης και την εκφραστικότητα του μοντέλου, καθώς τα πολυδιανύσματα αποτυπώνουν πιο πλούσιες χωρικές και γωνιακές σχέσεις σε σχέση με δεδομένα εισόδου βασισμένα στην Ευκλείδεια Γεωμετρία. Δεύτερον, αξιοποιώντας την τοπολογία του τρισδιάστατου μοντέλου, αποδεικνύουμε ότι τα Νευρωνικά Δίκτυα Γράφων (GNNs) μπορούν να αποδώσουν φαινόμενα αυτoαπόκρυψης (self-occlusion) και σκιών (shadowing) που απλά πολυστρωματικά νευρωνικά δίκτυα προώθησης (MLPs) αδυνατούν να αναπαράγουν. Τρίτον, παρουσιάζουμε πώς τα εκπαιδευμένα μοντέλα μπορούν να ενσωματωθούν στην μηχανή γραφικών Unity για απόδοση φωτός σε πραγματικό χρόνο, τόσο σε στατικά όσο και σε δυναμικά μοντέλα. Η πειραματική μας αξιολόγηση σε μια ποικιλία τρισδιάστατων μοντέλων επιβεβαιώνει ότι το Neural-GASh μειώνει τον χρόνο προϋπολογισμού κατά τάξεις μεγέθους, διατηρώντας παράλληλα φωτισμό υψηλής ποιότητας και ρεαλιστική σκίαση. Το πλαίσιο κλιμακώνεται σε δεκάδες χιλιάδες κορυφές σε πραγματικό χρόνο, και η εφαρμογή του στην Unity αποδεικνύει την πρακτική του χρησιμότητα σε διαδραστικές εφαρμογές. Συνοψίζοντας, η παρούσα διατριβή καθιερώνει μια εκδοχή του PRT βασισμένη σε GNNs ως μια επεκτάσιμη και αποτελεσματική εναλλακτική στις κλασικές μεθόδους προϋπολογισμού, θέτοντας τις βάσεις για μελλοντικές ροές νευρωνικής απόδοσης φωτός στα γραφικά και την εικονική πραγματικότητα.