Efficient Illumination Algorithms for Global Illumination In Interactive and Real-Time Rendering

Abstract

The synthesis of photorealistic digital imagery has long been considered as one of the most fascinating domains in the field of computer graphics. Its main goal is the generation of visually stunning images, mimicking as close as possible the appearance of objects in the physical world. The endeavor for visual realism has directed a large amount of research interest in the investigation of the interactions of light and matter, resulting in an established mathematical framework and the striking beauty of the generated images on today's production level renderers. While the theoretical concepts of light transport are well understood and applied in offline rendering, the interactive reproduction of the underlying physical processes remains a highly challenging topic due to the various constraints involved in the process. Furthermore, the increased need for the delivery of highly dynamic interactive content in today's vast virtual environments, that can potentially change in every frame, has undoubtedly increased the necessity for highly efficient, interactive illumination algorithms. In this thesis, we investigate such methods, in the field of photorealistic image synthesis. Our contributions focus exclusively on the development of robust algorithms for real-time and interactive global illumination, under the considerations of fully dynamic content. Regarding real-time rendering, the majority of algorithms are based on the rasterization pipeline, where the support of dynamic content is inherently provided. However, the strict time restrictions of real-time applications pose significant constraints in the operation of the computationally demanding global illumination algorithms, severely impacting the resulting quality of the rendered images. There, the most common approximation is imposed on the algorithmic input where, typically, the highly-detailed geometric information is replaced by either (i) a partial (layered), view-dependent and discretized representation, or a (ii) view-independent but, crude, regular subdivision of the environment in image- and volume-space methods, respectively. We contribute to the domain of real-time rendering by proposing two novel techniques, focusing particularly on the improvement of the visual instability of prior approaches as well as on the efficiency of the underlying representations. First, we propose a generic method to efficiently address the view-dependent inconsistencies of image-domain methods, demonstrated on screen-space ambient occlusion. This is accomplished by taking advantage of buffers containing geometric information from other view points, already generated as part of the rendering process, such as the shadow maps. Second, we improve the efficiency as well as on the visual stability of volume-based global illumination methods, by introducing the idea of directional chrominance subsampling for radiance field compression, an optimized cache point population scheme and a view-independent approximate indirect shadowing technique.In order to support dynamic content in interactive applications, the effort of the research community has been heavily focused on the improvement of the efficiency of the ray tracing pipeline, which has been traditionally employed for production rendering. However, the computational overhead of the required complex acceleration structures is still restricting these approaches to partially static content. Alternatively, a recent category of techniques have attempted to exploit the rasterization pipeline, which inherently supports dynamic environments, to achieve quality identical to the ray tracing pipeline. Still, the proposed solutions are not yet able to support a full global illumination algorithm without posing any restrictions on the geometric representation or on the effects that can be reproduced. In the domain of interactive rendering, we present two methods that investigate the ability of the modern rasterization pipeline to provide a viable alternative to the costly construction stages of spatial acceleration structures. The proposed methods are able to perform high-quality interactive ray tracing in arbitrarily complex and dynamic environments, thus lifting the limitations of prior rasterization-based methods. Our first method employs multifragment rendering techniques to effectively capture, for the first time, a highly-detailed representation of the entire environment where a full global illumination algorithm, such as path tracing, can be elegantly supported. Ray tracing is efficiently achieved by exploiting image-space empty space skipping and approximate ray-fragment intersection tests. The presented solution advances the field of image-space ray tracing and provides small construction times as well as scalable traversal performance. However, the resulting quality is approximate and can suffer from high memory overhead due to its fragment-based data structure. Our second approach, which completes our investigation, applies the deferred nature of the traditional ray-tracing pipeline in a rasterization-based framework. Thus, we are able to exploit a primitive-based acceleration data structure and support three, conflicting in prior work, objectives: (i) dynamic environments through fast construction times, (ii) quality identical to the ray tracing pipeline via primitive-based intersection tests, and (iii) reduced memory requirements. Additionally, the presented method further generalizes on the field of image-space ray tracing by exploiting various empty space skipping optimization strategies in order to efficiently support accurate ray-primitive intersection queries.

H ψηφιακή σύνθεση φωτορεαλιστικών εικόνων θεωρείται ένα από τα πιο συναρπαστικά πεδία στον τομέα των γραφικών του υπολογιστή. Κύριος στόχος της είναι η παραγωγή εικόνων που προσομοιώνουν όσο το δυνατόν πιο πειστικά τα μοντελοποιημένα αντικείμενα, όπως αυτά απεικονίζονται στον πραγματικό κόσμο. Η προσπάθεια βελτίωσης του οπτικού ρεαλισμού έχει κατευθύνει ένα μεγάλο κομμάτι της έρευνας στην διερεύνηση των αλληλεπιδράσεων του φωτός και της ύλης, με αποτέλεσμα την θεμελίωση ενός εμπεριστατωμένου μαθηματικού πλαισίου καθώς και την εντυπωσιακή ποιότητα των παραγόμενων εικόνων από τις σημερινές εφαρμογές σύνθεσης εικόνας σε γραφικά κινηματογραφικής ποιότητας. Ενώ οι θεωρητικές έννοιες της μετάδοσης του φωτός έχουν κατανοηθεί σε μεγάλο βαθμό και εφαρμόζονται στα γραφικά μη πραγματικού χρόνου, η σωστή αναπαραγωγή των διαφόρων φυσικών φαινομένων σε διαδραστικά και πραγματικού χρόνου περιβάλλοντα είναι ένα εξαιρετικά δύσκολο πρόβλημα, λόγω των χρονικών περιορισμών που επιβάλλονται στις συγκεκριμένες διεργασίες. Η ανάγκη για αλγορίθμους ικανούς να αποδώσουν φωτορεαλιστικές εικόνες σε δυναμικά περιβάλλοντα είναι ακόμα πιο απαραίτητη στην σημερινή εποχή όπου το μέγεθος καθώς και η πολυπλοκότητα των ψηφιακών κόσμων, οι οποίοι μπορούν να μεταβληθούν δραστικά σε κάθε καρέ, έχει αυξηθεί δραματικά. Ο σκοπός της παρούσας διατριβής είναι να διερευνήσει τέτοιες μεθόδους που εμπίπτουν στον τομέα της φωτορεαλιστικής σύνθεσης εικόνας. Οι συνεισφορές μας επικεντρώνονται αποκλειστικά στην ανάπτυξη αποτελεσματικών αλγορίθμων ολικού φωτισμού σε γραφικά πραγματικού χρόνου καθώς και διαδραστικά, λαμβάνοντας υπόψη τους περιορισμούς που προκύπτουν σε δυναμικά περιβάλλοντα. Όσον αφορά την πρώτη κατηγορία (γραφικά πραγματικού χρόνου), η πλειονότητα των αλγορίθμων βασίζεται στη μέθοδο της σχεδίασης (rasterization), όπου η υποστήριξη δυναμικού περιεχομένου παρέχεται εγγενώς. Όμως, τα αυστηρά χρονικά όρια των εφαρμογών αυτών θέτουν και σημαντικούς περιορισμούς στην ακρίβεια και λειτουργία των υπολογιστικά απαιτητικών αλγορίθμων ολικού φωτισμού, επηρεάζοντας σοβαρά την ποιότητα των τελικών εικόνων. Οι πιο σημαντικές απλοποιήσεις επιβάλλονται από πολύ νωρίς; συνήθως, η γεωμετρική πληροφορία της σκηνής αντικαθίσταται είτε από (i) μία μερική και εξαρτώμενη από τη θέση του παρατηρητή, διακριτοποιημένη αναπαράσταση της σκηνής, ή από (ii) μία ολική μεν, αλλά αδρή, κανονική υποδιαίρεση της σκηνής, στις τεχνικές που δουλεύουν στον χώρο της εικόνας και ογκομετρικές μεθόδους, αντίστοιχα. Συμβάλλουμε στον τομέα αυτό προτείνοντας δύο νέες τεχνικές, οι οποίες επικεντρώνονται στη βελτίωση της οπτικής αστάθειας που προκύπτει από τις προσεγγίσεις που γίνονται στους αλγορίθμους αυτούς, καθώς και στην αποτελεσματικότητα των δομών που χρησιμοποιούνται. Η πρώτη μας μέθοδος, η οποία εφαρμόζεται στις κλασσικές μεθόδους εικόνας για παρεμπόδιση του έμμεσου φωτισμού, επικεντρώνεται στην γενική αντιμετώπιση του προβλήματος των οπτικών ατελειών που προκύπτουν από την εξάρτηση στην οπτική γωνία του παρατηρητή. Αυτό επιτυγχάνεται με την αξιοποίηση γεωμετρικής πληροφορίας από άλλες οπτικές γωνίες, χωρίς να υπάρχει περιορισμός στον αριθμό ή την τοποθεσία αυτών που είναι ήδη διαθέσιμες σε μία μηχανή γραφικών, όπως είναι οι εικόνες για την παραγωγή σκιών. Η δεύτερη μας μέθοδος ασχολείται με την βελτίωση της αποτελεσματικότητας της δομής καθώς και την οπτική σταθερότητα των ογκομετρικών μεθόδων ολικού φωτισμού, εισάγοντας την ιδέα της υποδειγματοληψίας της χρωματικότητας για την κατευθυντική συμπίεση της λαμπρότητας στο σφαιρικό πεδίο, ένα βελτιστοποιημένο σύστημα τοποθέτησης σημείων λαμπρότητας καθώς και μια προσεγγιστική τεχνική απόδοσης έμμεσων σκιάσεων ανεξαρτήτων από την εκάστοτε όψη. Στην κατηγορία των διαδραστικών γραφικών, η υποστήριξη δυναμικού περιεχόμενου από την ερευνητική κοινότητα έχει επικεντρωθεί σε μεγάλο βαθμό στη βελτίωση της αποτελεσματικότητας αλγορίθμων βασιζόμενοι στην παρακολούθηση ακτινών (ray tracing), το οποίο χρησιμοποιείται σχεδόν αποκλειστικά σε γραφικά μη πραγματικού χρόνου. Ωστόσο, το υπολογιστικό κόστος κατασκευής των απαιτούμενων επιταχυντικών δομών εξακολουθεί να περιορίζει αυτές τις μεθόδους σε εν μέρει στατικό περιεχόμενο. Εναλλακτικά, πρόσφατες ερευνητικές προσπάθειες έχουν προσπαθήσει να εκμεταλλευτούν τη μέθοδο της σχεδίασης γραφικών, το οποίο υποστηρίζει εγγενώς δυναμικά περιβάλλοντα, για να επιτύχουν ποιότητα ταυτόσημη με την παρακολούθηση ακτινών. Παρόλα αυτά, οι υπάρχουσες λύσεις δεν είναι ακόμη σε θέση να υποστηρίξουν πλήρως έναν αλγόριθμο ολικού φωτισμού χωρίς να θέτουν περιορισμούς όσον αφορά είτε τη γεωμετρική αναπαράσταση ή τις πολλαπλές αλληλεπιδράσεις μεταξύ του φωτός και των διαφόρων οπτικών μέσων. Στην κατηγορία των διαδραστικών γραφικών παρουσιάζουμε δύο μεθόδους που διερευνούν τη δυνατότητα του σύγχρονου μοντέλου σχεδίασης γραφικών να παρέχει μια εναλλακτική υπολογιστικά λύση στα ακριβά στάδια κατασκευής των επιταχυντικών δομών. Οι προτεινόμενες μέθοδοι μπορούν να αποδώσουν υψηλής ποιότητας διαδραστική παρακολούθηση ακτινών σε αυθαίρετης πολυπλοκότητας δυναμικά περιβάλλοντα, αφαιρώντας έτσι τους περιορισμούς των προηγούμενων μεθόδων που βασίζονται στη σχεδίαση γραφικών. Η πρώτη μας μέθοδος αξιοποιεί τεχνικές πολυ-επιπέδων για να αποθηκεύσει αποτελεσματικά και για πρώτη φορά, μία λεπτομερή αναπαράσταση όλου του περιβάλλοντος στην οποία ένας αλγόριθμος ολικού φωτισμού - όπως η παρακολούθηση μονοπατιού (path tracing) - μπορεί να υποστηριχθεί. Η παρακολούθηση ακτινών επιτυγχάνεται αποτελεσματικά αξιοποιώντας γρήγορη μεταπήδηση χώρων στο χώρο της εικόνας και προσεγγιστικούς ελέγχους τομών μεταξύ των ακτινών και των παραγόμενων τεμαχίων (fragments). Η προτεινόμενη λύση βελτιώνει δραματικά την ποιότητα αλλά και την ταχύτητα αλγορίθμων που βασίζονται στην παρακολούθηση ακτινών στο χώρο της εικόνας ενώ παράλληλα παρέχει μικρούς χρόνους κατασκευής, καθώς και κλιμακωτή απόδοση διάσχισης ακτινών. Ωστόσο, η συγκεκριμένη μέθοδος προσφέρει προσεγγιστική ποιότητα εικόνας, συγκριτικά με τις παραδοσιακές μεθόδους παρακολούθησης ακτινών, και μπορεί να έχει υψηλό κόστος μνήμης λόγω της αποθήκευσης δεδομένων για την φωτοσκίαση των τεμαχίων για όλη την σκηνή. Η δεύτερη μέθοδός μας, η οποία ολοκληρώνει την έρευνά μας, μεταφέρει την αναβαλλόμενη λογική της αποθήκευσης γεωμετρικής πληροφορίας από τους αλγορίθμους παρακολούθησης ακτινών στο μοντέλο σχεδίασης γραφικών. Με αυτόν τον τρόπο είμαστε σε θέση να δημιουργήσουμε μία δομή που βασίζεται σε γεωμετρία αντί για τεμάχια και να υποστηρίξουμε τρεις, αντικρουόμενους σε προηγούμενες ερευνητικές δουλειές, στόχους: (i) δυναμικά περιβάλλοντα με γρήγορους χρόνους κατασκευής, (ii) ποιότητα ταυτόσημη με τους αλγόριθμους παρακολούθησης ακτινών με ελέγχους τομών βασισμένους σε πολύγωνα και (iii) μειωμένες απαιτήσεις μνήμης. Επιπλέον, η προτεινόμενη μέθοδος βελτιώνει και γενικεύει περαιτέρω τον τομέα της παρακολούθησης ακτινών στο χώρο της εικόνας με την αξιοποίηση διαφόρων βελτιστοποιήσεων μεταπηδήσεων χώρου ώστε να υποστηρίξει αποτελεσματικά αναλυτικούς ελέγχους τομών μεταξύ ακτινών και πολυγώνων.