Context-aware gaze prediction applied to game level design, level-of-detail and stereo manipulation

Abstract

The prediction of visual attention can significantly improve many aspects of computer graphics and games. For example, image synthesis can be accelerated by reducing complex computations on non-attended scene regions. Current gaze prediction models often fail to accurately predict user fixations since they include limited information about the context of the scene; they commonly rely on low level image features such as luminance, contrast and motion. These features do not drive user attention reliably when interacting with an interactive synthetic scene, e.g. in a video game. In such cases the user is in control of the view-port consciously ignoring low level salient features in order to navigate the scene or perform a task. This dissertation contributes two novel predictive scene context-based models of attention that yield more accurate attention predictions than those derived from state-of-the-art methods. Both models presented take into account critical high level scene context features such as object topology and task-related object function that influence fixation guidance when gazing at interactive content. We incorporate these predictors as part of a game level design system, subsequently as part of a Level-of-Detail manager rendering complex visual effects on mobile platforms and, finally, as part of a gaze-aware stereo 3D disparity manipulation method.

Η πρόβλεψη της οπτικής προσοχής ενός χρήστη μπορεί να βελτιώσει σημαντικά πολλές πτυχές των γραφικών για ηλεκτρονικούς υπολογιστές και βιντεοπαιχνίδια. Για παράδειγμα, η σύνθεση ψηφιακής εικόνας μπορεί να επιταχυνθεί με τη μείωση των πολύπλοκων υπολογισμών για τις περιοχές που δεν θα δει ο χρήστης. Τα τρέχοντα μοντέλα πρόβλεψης βλέμματος συχνά αποτυγχάνουν να προβλέψουν με ακρίβεια τα βλέμματα των χρηστών καθώς περιλαμβάνουν περιορισμένη πληροφορία σχετικά με το γενικότερο πλαίσιο μιας σκηνής και βασίζονται σε χαμηλού επιπέδου οπτικά χαρακτηριστικά της εικόνας, όπως φωτεινότητα, αντίθεση και κίνηση για να προβλέψουν το βλέμμα του χρήστη. Αυτά τα χαρακτηριστικά δεν προβλέπουν την προσοχή αξιόπιστα, ιδιαίτερα όταν κάποιος αλληλεπιδρά με μια διαδραστική συνθετική σκηνή. Αυτή η διατριβή παρουσιάζει δύο νέα μοντέλα πρόβλεψης προσοχής που λαμβάνουν υπόψιν το γενικότερο πλαίσιο μιας σκηνής (context) για την πρόβλεψη της προσοχής. Τα μοντέλα παρέχουν πιο ακριβείς προβλέψεις σε σχέση με τα state-of-the-art μοντέλα προσοχής. Και τα δύο μοντέλα που παρουσιάζονται λαμβάνουν υπόψιν κρίσιμα χαρακτηριστικά υψηλού επιπέδου (high level saliency factors) όπως τοπολογία αντικειμένων και το πως αυτά σχετίζονται με εκτελούμενες εργασίες. Έχουμε ενσωματώσει αυτά τα προγνωστικά μοντέλα ως μέρος ενός εργαλείου σχεδίασης επιπέδων για βιντεοπαιχνίδια για την έμμεση προσαρμογή της δυσκολίας ενός παιχνιδιού (game balancing). Έπειτα ως μέρος ενός LOD διαχειριστή απόδοσης για οπτικά εφέ σε κινητές συσκευές και ως μέρος ενός συστήματος διαχείρισης στερεοσκοπικών παραμέτρων (stereo grading).