Intelligent modeling of human movement behavior during virtual crowd interaction in immersive virtual environments

Abstract

In our daily life we interact with other people on a number of different occasions, like when going to work or shopping, walking or meeting with friends, crossing roads, etc. With the use of modern display technologies and game engines, such daily activities can be recreated in a virtual space providing people the ability to observe such behaviors and characteristics of human crowds in virtual environments. In general a virtual crowd consists of individual groups with similar or not behaviors and characteristics. The necessity for designing immersive virtual environments populated with realistically simulated virtual humans, specifically in their behavior and navigation aspects, motivates the research in this specific field that will greatly improve the sense of presence of the immersed user in virtual environments.Users in an immersive virtual reality system have the capability to interact while being immersed in a surrounding and realistic virtual environment [1]. Immersion in virtual reality attempts to create a fascinating experience while placing the user in a virtual environment, where he can be a part of the virtual world. The level of immersion of the user can be measured separately (based on his/her experience in general) and is considered as an objective attribute.An essential task is to persuade the immersed user in a virtual environment with virtual humans, to feel, act and participate in this virtual experience naturally as he would in a similar real environment [2], but always within the limitation of the current system. The user must be able to interact with the environment and the virtual people. In addition, virtual humans’ movement behavior and interaction must be realistic and convincing to improve the experience of the user. Populating virtual environments with virtual people and synthesizing their navigation and behavior to “feel” realistic could be a very challenging task.The virtual reality community has been interested in human-virtual characters interaction the past few decades [10], [11], [12]. To investigate and understand the interactions with the virtual characters, researchers use various types of sensors (e.g. electroencephalograms, electrodermal sensors, eye-tracking sensors, and motion capture sensors) to collect objective data or subjective data through questionnaires. The results from such experiments (human-virtual characters interactions) show that these methods can capture data efficiently to analyze and understand such interactions [13], [14]. Furthermore, objective and subjective data collected during interactions with virtual humans tend to match data collected between humans’ interactions in the real world [15], [16]. In addition previous studies show that humans’ avoidance behavior is qualitatively similar in virtual and real conditions [17]. Those findings clearly indicate that studies around the subject of human-virtual crowd interactions can provide valuable information that are applicable not only in virtual reality scenarios (e.g. video-games, training, virtual experiments, etc.) but also to the research of real-world human behavior and interactions between people.Overall the main purpose of such research is the creation of specific experiments and the decomposition of the behavior and possible responses of the immersed user, in order to understand the main elements that influence his/her experience, inside a virtual crowd.

Στην καθημερινότητά μας αλληλεπιδράμε με άλλους ανθρώπους σε διάφορες περιπτώσεις, όπως όταν πηγαίνουμε στην εργασία, όταν περπατάμε ή συναντάμε φίλους, όταν διασχίζουμε το δρόμο κ.α. Με την χρήση σύγχρονων τεχνολογιών και μηχανών γραφικών (game engines) αυτές οι προαναφερθείς καθημερινές δραστηριότητες μπορούν να αναδημιουργηθούν σε εικονικό χώρο. Παρέχεται με αυτόν τον τρόπο η δυνατότητα παρατήρησης συμπεριφορών και χαρακτηριστικών εικονικών πληθών σε εικονικά περιβάλλοντα. Γενικά ένα εικονικό πλήθος αποτελείται από ξεχωριστές ομάδες με παρόμοιες ή όχι συμπεριφορές και χαρακτηριστικά. Η αναγκαιότητα σχεδιασμού εμβυθιστικών εικονικών περιβαλλόντων με ρεαλιστικά προσομοιωμένους εικονικούς ανθρώπους, ιδιαίτερα όσον αφορά την συμπεριφορά και τις πτυχές πλοήγησής τους, αποτελεί το κίνητρο για την έρευνα σε αυτό το πεδίο η οποία θα βελτιώσει σημαντικά την αίσθηση της παρουσίας του εμβυθισμένου χρήστη μέσα στα εικονικά περιβάλλοντα.Οι συμμετέχοντες σε ένα σύστημα εμβυθιστικής εικονικής πραγματικότητας, έχουν τη δυνατότητα να αλληλεπιδράσουν ενώ είναι εμβυθισμένοι σε ένα ρεαλιστικό εικονικό περιβάλλον [4]. Μέσω της εμβύθησης στην εικονική πραγματικότητα δημιουργείται μια συναρπαστική εμπειρία, η οποία τοποθετεί τον χρήστη σε ένα εικονικό περιβάλλον, όπου μπορεί να είναι μέρος του εικονικού κόσμου. Το επίπεδο εμβύθισης του χρήστη μπορεί να μετρηθεί (με βάση την εμπειρία του/της) και θεωρείται ως ένα αντικειμενικό χαρακτηριστικό.Ένας βασικός σκοπός (της εικονική πραγματικότητας) είναι να πείσει έναν εμβυθισμένο χρήστη μέσα σε εικονικό περιβάλλον με εικονικούς ανθρώπους, να αισθάνεται, συμπεριφέρεται και συμμετέχει στην εικονική εμπειρία με φυσικό τρόπο, όπως θα έκανε σε ένα παρόμοιο πραγματικό περιβάλλον [5], πάντα βέβαια εντός των περιορισμών του τρέχοντος συστήματος. Ο χρήστης πρέπει να είναι ικανός να αλληλοεπιδράσει και με το περιβάλλον και με τους εικονικούς ανθρώπους. Επίσης, η κινησιολογική συμπεριφορά και οι αλληλεπιδράσεις των εικονικών ανθρώπων, πρέπει να είναι ρεαλιστικές και πειστικές για να βελτιώσουν την εμπειρία του χρήστη. Η εμπλούτιση των εικονικών περιβαλλόντων με εικονικούς ανθρώπους και η σύνθεση ρεαλιστικής πλοήγησής (navigation) και συμπεριφοράς είναι μια αρκετά σύνθετη διαδικασία.Η κοινότητα της εικονικής πραγματικότητας, ενδιαφέρεται για την αλληλεπίδραση ανθρώπου-εικονικών χαρακτήρων τις τελευταίες δεκαετίες [6] - [8]. Για τη διερεύνηση και κατανόηση των αλληλεπιδράσεων με εικονικούς χαρακτήρες, οι ερευνητές χρησιμοποιούν αισθητήρες διαφόρων ειδών (π.χ. ηλεκτροεγκεφαλογραφήματα, ηλεκτροδερμικούς αισθητήρες, αισθητήρες παρακολούθησης ματιών και αισθητήρες καταγραφής κίνησης).Κύριος σκοπός αυτής της έρευνας είναι η δημιουργία πειραμάτων και η αποδόμηση της συμπεριφοράς του εμβυθισμένου χρήστη, προκειμένου να κατανοηθούν τα βασικά στοιχεία τα οποία επηρεάζουν την εμπειρία του/της, μέσα σε εικονικό πλήθος.Υπάρχουν πολλά χαρακτηριστικά τα οποία πρέπει να λάβουμε υπόψη μας ώστε να δημιουργήσουμε επιτυχημένες και ρεαλιστικές προσομοιώσεις εικονικών πληθών σε εικονικά περιβάλλοντα. Οι εικονικοί χαρακτήρες που αποτελούν ένα ρεαλιστικό εικονικό πλήθος πρέπει να έχουν διαφορετικά χαρακτηριστικά (π.χ. ύψος, φύλλο, χρώμα δέρματος, ρούχα, κ.α.). Επίσης είναι αναγκαίο να διερευνήσουμε και να αναλύσουμε πως οι εικονικοί άνθρωποι πρέπει να εμψυχωθούν (animated), σε διαφορετικά επίπεδα, από το πιο απλό χαμηλό-επίπεδο (low-level, simple animation of limbs), στο πιο σύνθετο-υψηλό επίπεδο εμψύχωσης (high-level, walking style, models, etc.). Αντίστοιχα η συμπεριφορά του εικονικού πλήθους μπορεί να διαχωριστεί σε χαμηλά και υψηλά επίπεδα ύφους. Η χαμηλού-επιπέδου συμπεριφορά διερευνά και ασχολείται με δεδομένα σχετικά με την πλοήγηση και καθοδήγηση των εικονικών ανθρώπων, ενώ η υψηλού-επιπέδου διερευνά τον σχεδιασμό της πορείας, λήψη αποφάσεων, ανάγκες, κ.α.).Σε αυτήν τη διατριβή υπάρχουν μερικά σημαντικά ζητήματα σχετικά με τα εμβυθιστικά εικονικά περιβάλλοντα και την προσομοίωση πλήθους. Ένα από τα ζητήματα είναι σχετικό με την πλοήγηση πλήθους και συγκεκριμένα κατά τη διάρκεια δημιουργίας διαδρομών πλοήγησης (navigation paths) για κάθε εικονικό άνθρωπο, για να καθοριστεί η διαδρομή τους αλλά και για αποφυγή συγκρούσεων. Ο βασικός στόχος είναι η δημιουργία ρεαλιστικής συμπεριφοράς καθοδήγησης (steering behavior) για τους εικονικούς ανθρώπους. Αυτό το ζήτημα μπορεί να χωριστεί σε δύο κατηγορίες: α) ο σχεδιασμός μοντέλων ρεαλιστικής συμπεριφοράς και προσομοίωσης πλοήγησης και β) ορισμός της ρεαλιστικής προσομοίωσης των κινήσεων (animations) κάθε εικονικού ανθρώπου.Σύμφωνα με τη βιβλιογραφία, έχουν σχεδιαστεί διάφορες μέθοδοι για να λυθούν τα προαναφερθέντα ζητήματα πλοήγησης πλήθους. Αυτές οι μέθοδοι είναι είτε μακροσκοπικές είτε μικροσκοπικές (macroscopic and microscopic). Στις μακροσκοπικές μεθόδους οι ερευνητές προσομοιώνουν το πλήθος συνολικά (σαν ένα), ενώ στις μικροσκοπικές μεθόδους η συμπεριφορά του κάθε εικονικού χαρακτήρα προσομοιώνεται ατομικά.Ένα άλλο ζήτημα το οποίο η συγκεκριμένη διατριβή διερευνά και επιχειρεί να αντιμετωπίσει είναι σχετικό με την συμπεριφορά του πλήθους σε εμβυθιστικά εικονικά περιβάλλοντα και τα στοιχεία τα οποία επηρεάζουν την εμπειρία των συμμετεχόντων. Ένα σύστημα εικονικής πραγματικότητας πρέπει να προσφέρει μια αίσθηση παρουσίας στο χρήστη ο οποίος είναι εμβυθισμένος. Επιπλέον, αν υπάρχει εικονικό πλήθος μέσα σε αυτό το σύστημα τότε είναι απαραίτητο να διερευνήσουμε την συμπεριφορά των εικονικών ανθρώπων σε σχέση με τον χρήστη και την (συνολική) σχέση τους με άλλους εικονικούς ανθρώπους. Με αυτόν τον τρόπο ο χρήστης θα έχει μια πιο ισχυρή αίσθηση εμβύθισης μέσα στο εικονικό περιβάλλον επομένως, θα ενεργεί πανομοιότυπα με τον τρόπο που θα ενεργούσε σε ένα πραγματικό περιβάλλον.