Ανάπτυξη μεθοδολογίας ανάλυσης οφθαλμικών κινήσεων για τη μελέτη της οπτικής αντίληψης σε χάρτες κινούμενης εικόνας

Abstract

The objective of the present doctoral dissertation is the study of elements related to visualperception in animated maps using techniques of capturing and analyzing eye movements.More specifically, the main aim is referred to the investigation of the minimum threshold ofthe dynamic variable of duration which is required for the detection by the central vision ofone moving point symbol on cartographic backgrounds with discriminant levels ofinformation. The referred minimum temporal threshold is examined through an experimentalstudy based on the collection of eye tracking data. The analysis of the experimental data isbased on the identification of fixation events which are detected through an innovativealgorithm introduced for the purposes of the present dissertation. The introduced algorithm isalso used for the development of a complete post-analysis toolbox appropriate for eyemovement analysis.An extended literature review is presented in order to compose the theoreticalframework of the examined research fields. Specifically, the literature review contains:(a)Review of concepts related to aspects of visual perception, description of the preattentivestage of vision and basic features, the influence of perception and attention in map readingprocess and the constraints provided by the physiology of eyes in cartographicsymbolization. (b) Description of animated maps and dynamic variables of cartographicsymbolization. Moreover, different types of animated maps are reported. (c) Review of eyemovement analysis process; main and derived metrics, fixation identification algorithms,data visualization techniques and software appropriate for the performance of analysis. & (d)Review of studies performed in cartographic research using eye tracking methodology. Thecontribution of the present doctoral dissertation is twofold as it provides crucial indicationsabout the limits of cartographic symbolization in the case of animated maps and it suggestsan extension of the existing fixation identification algorithms. Moreover, the completeanalysis toolbox that is developed can be used for the experimental analysis andvisualization of data collected using eye tracking techniques.A cartographic experimental study is designed and performed for the examination ofthe main research question. The location of a point symbol changes in successive visualscenes while the background remains constant. Hence, subject perceive the change of thepoint symbol's location as a moving object. The experimental variables are related to bothproperties that characterize the element of motion of the moving point symbol and the levelof information of the cartographic backgrounds. The properties which are referred to themoving point symbol are the duration and the range of relocation. Duration is equal to thetime that the location of the moving point symbol remains constant on the background whilethe range of relocation corresponds to the Euclidean distance calculated between twosuccessive locations of the moving point symbol. A real topographic map composes the mainbase background of the experimental study. The topographic map is characterized by highlevel of visual complexity as it consists of a variety of different cartographic symbols whichrepresent different geographic information such as several point symbols, contours,annotation, hydrological and transport network. Cartographic backgrounds with discretelevel of information are produced in order to serve as base maps of the experimental study.The production of different information levels is based on the change of intensity of thecartographic symbols of the topographic map. Moreover, a blank background is also used asthe level characterized by the absence of information. Different combinations among theexperimental variables produce the total amount of stimuli that compose the visual scenes ofthe experimental study.Subjects are asked to observe some stimuli on a computer monitor while their eyemovements are recorded by an eye tracking device. Therefore, the experimental study isperformed under free viewing conditions without a specific task to complete. The conditionsremain constant for all subjects during the experimental process. The eye tracking data arecollected in the sampling frequency of 60Hz using the pupil location method. Totally, 86subjects participate in the experimental study.The analysis of the recorded eye movements is based on the computation of fixationevents and on the definition of 6 statistical indexes derived from fixations. The fixations'derived indexes include computations referred to the subjects' percentage that succeed todetect the moving point symbol, the mean duration of fixations on the point symbol, themean percentage of the ratio of the fixations' duration on point symbol to the total durationon the visual scene, the mean number of fixations on the point symbol, the mean percentageof the ratio of the number of fixations on point symbol to the total duration on the visualscene and the mean time to first fixation on the point symbol. The statistical indexes arecomputed for every visual scene of the experimental study. The statistical indexes are usedfor the quantitative description of subjects' visual reaction. The model of linear regression isalso used in order to examine possible correlations among the experimental variables and forthe investigation of the total visual reaction.The detection of fixations is performed using an introduced algorithm. The newalgorithm is based on temporal and spatial constraints for fixation identification and it is adispersion based algorithm (I-DT). The spatial constraint is based on a “two-step” thresholdswhile the temporal ones corresponds to the minimum fixation duration. The validation of theresults of the fixation identification algorithm is made by comparing with those of analgorithm of dispersion type with a moving window using real eye tracking data. Theintroduced algorithm is used for the development of a new toolbox called EyeMMV (EyeMovements Metrics & Visualizations) appropriate for post-experimental eye movementanalysis. The toolbox developed in the scripting language of MATLAB. EyeMMV toolboxsupports the complete analysis of eye tracking data in main (fixations, saccades, scan path)and derived metrics. It further supports different types of visualizations (gaze plots, fixationlocations and duration plots, space-time-cube, heatmap) and regions of interest (ROIs)analysis. A case study is also reported in order to provide the functionality of the toolbox.The data quality collected in the cartographic experimental study is tested through acalibration checking procedure. It is based on the estimation of mean gaze positions duringthe observation of fixed targets by performing a fuzzy clustering algorithm (c-means).Moreover, a checking procedure is performed using a pair of artificial eyes for theinvestigation of the level of spatial and temporal noise produced during the capturing of eyemovements by the specific eye tracking equipment that is used in the experimental study.The results of the analysis reveal important suggestions about subjects' reaction inmoving point symbols in animated maps. The analysis indicates that the dynamic variable ofduration is the most important variable for the detection by the central vision of the movingpoint symbols as it is fully correlated with the mean value of fixation duration. The value ofthe minimum temporal threshold required for the fixation on the moving point symbolcorresponds to 360±87 ms. The value of the standard deviation of the minimum temporalthreshold is smaller than the minimum duration of a fixation (100 ms) which is reported inliterature. The level of background's information influences only the post detection reactionof subjects while the range of relocation does not affect the procedure of moving pointdetection by the central vision. The presented methodology can be used in order toinvestigate thresholds of the quantitative variables of cartographic symbolization which areused in order to visualize dynamic changes in animated maps.In comparison with an existing dispersion type algorithm, the introduced algorithmproduces strongly related results in fixation detection. It suggests a process of removing thelevel of noise produced by the eye tracking equipment in the case that it is constant and canbe reported. Furthermore, the source code of EyeMMV toolbox is distributed throughGitHub under GNU GPLv.3 license (link: https://github.com/krasvas/EyeMMV). EyeMMVtoolbox can be executed in every computer platform (Windows, Linux & Mac OS) whereMATLAB software has been pre-installed, having all the benefits of MATLAB including itsadvantageous speed of execution.Some other interesting points for future research include the investigation of theminimum temporal threshold in other types of maps and/or in more realistic conditionsconducting experiments with novice and professional map users (or/and users with differentgenders and ages). Moreover, subjects' post-reaction (after moving point detection) can beexamined. Additionally, statistical indexes which are defined for the analysis can be used inorder to examine the relation between the observation and the level of information asindicators for the cognitive load or as metrics to measure the perceived complexity duringmap reading.

Η παρούσα διδακτορική διατριβή έχει σκοπό τη διερεύνηση στοιχείων που σχετίζονται με την οπτική αντίληψη χαρτών κινούμενης εικόνας αξιοποιώντας τεχνικές καταγραφής και ανάλυσης οφθαλμικών κινήσεων. Πιο συγκεκριμένα, κύριος στόχος της διατριβής είναι ο προσδιορισμός της ελάχιστης οριακής τιμής της δυναμικής μεταβλητής της διάρκειας που απαιτείται για τον εντοπισμό ενός κινούμενου σημειακού συμβόλου πάνω σε χαρτογραφικά υπόβαθρα από την κεντρική όραση. Στα πλαίσια της διατριβής σχεδιάζεται και υλοποιείται μια πειραματική έρευνα όπου οι μεταβλητές που εξετάζονται σχετίζονται τόσο με ιδιότητες της κίνησης του κινούμενου σημειακού συμβόλου όσο και με το επίπεδο της περιεχόμενης πληροφορίας του χαρτογραφικού υποβάθρου. Η ιδιότητα της κίνησης συντίθεται από τις μεταβλητές της διάρκειας η οποία αναφέρεται στο χρονικό διάστημα που το σημειακό σύμβολο διατηρεί τη θέση του πάνω στο χαρτογραφικό υπόβαθρο και της μετάθεσης η οποία εκφράζεται μέσω της Ευκλείδειας απόστασης μεταξύ των διαδοχικών θέσεων του σημειακού συμβόλου. Το βασικό υπόβαθρο που αξιοποιείται στην πειραματική έρευνα αποτελείται από έναν πραγματικό τοπογραφικό χάρτη ο οποίος χαρακτηρίζεται από υψηλό βαθμό πολυπλοκότητας λόγω του μεγάλου όγκου δεδομένων που απεικονίζει. Η επίτευξη των διακριτών επιπέδων πληροφορίας επιτυγχάνεται μεταβάλλοντας το επίπεδο της έντασης των επιμέρους χαρτογραφικών συμβόλων του τοπογραφικού χάρτη ενώ η διερεύνηση υλοποιείται και σε κενό υπόβαθρο. Τα υποκείμενα που συμμετέχουν στην έρευνα καλούνται να παρατηρήσουν τις οπτικές σκηνές που σχεδιάζονται κατά τον πειραματικό σχεδιασμό χωρίς να απαιτείται η εκπόνηση κάποιας συγκεκριμένης εργασίας (σε συνθήκες ελεύθερης παρατήρησης) ενώ οι οφθαλμικές κινήσεις τους καταγράφονται.Η ανάλυση των οφθαλμικών κινήσεων που καταγράφονται κατά την πειραματική διαδικασία βασίζεται στο κύριο μέγεθος που αναφέρεται στις προσηλώσεις και στη δημιουργία στατιστικών δεικτών οι οποίοι προκύπτουν από αυτές και αξιοποιούνται για την ποσοτική περιγραφή της οπτικής συμπεριφοράς του συνόλου των υποκειμένων. Η αναζήτηση του ελάχιστου ορίου εντοπισμού, η συσχέτιση μεταξύ των μεταβλητών της πειραματικής διαδικασίας αλλά και η προσέγγιση της μελέτης της συνολικής συμπεριφοράς παρατήρησης ολοκληρώνεται αξιοποιώντας το μοντέλο της γραμμικής παλινδρόμησης. Η ανίχνευση των προσηλώσεων πραγματοποιείται μέσω ενός νέου αλγορίθμου ο οποίος αναπτύσσεται στα πλαίσια της παρούσας διδακτορικής διατριβής. Ο νέος αλγόριθμος βασίζεται τόσο σε χωρικά όσο και σε χρονικά κριτήρια για τον εντοπισμό των προσηλώσεων, εντάσσεται στου αλγορίθμους διασποράς (I-DT) ενώ για την επικύρωσή του γίνεται μια σύγκριση με έναν αλγόριθμο της ίδιας οικογένειας αξιοποιώντας πραγματικά δεδομένα παρατήρησης. Ο αλγόριθμος που δημιουργήθηκε αποτέλεσε τη βάση για τη δημιουργία ενός νέου λογισμικού εργαλείου (EyeMMV toolbox) το οποίο αναπτύχθηκε στα πλαίσια της παρούσας διατριβής. Το λογισμικό εργαλείο υποστηρίζει την πλήρη ανάλυση πειραματικών δεδομένων οφθαλμικών καταγραφών σε βασικά και παράγωγα μεγέθη και παρέχει τη δυνατότητα υλοποίησης κατάλληλων μεθόδων για την οπτικοποίηση των δεδομένων.Για τον ελέγχο της ποιότητας των δεδομένων εφαρμόζεται μια διαδικασία ελέγχου της βαθμονόμησης του συστήματος καταγραφής η οποία πραγματοποιείται εκτιμώντας τη θέση του βλέμματος κατά την παρατήρηση σταθερών στόχων μέσω ενός αλγορίθμου ασαφούς ταξινόμησης. Επιπροσθέτως, για τη διερεύνηση του επιπέδου του θορύβου ως προς τη χωρική και τη χρονική διάσταση του συστήματος καταγραφής που χρησιμοποιείται στη διεξαγωγή της πειραματικής έρευνας εφαρμόζεται μια διαδικασία ελέγχου αξιοποιώντας μετρήσεις από ένα ζεύγος τεχνητών οφθαλμών.Η ανάλυση των πειραματικών δεδομένων έδειξε πως η δυναμική μεταβλητή της διάρκειας διαδραματίζει το σημαντικότερο ρόλο στη διαδικασία καθώς εμφανίζει σχεδόν απόλυτη συσχέτιση με τη μέση διάρκεια προσηλώσεων πάνω στο κινούμενο σημειακό σύμβολο. Το αναζητούμενο όριο προσδιορίζεται με ακρίβεια μικρότερη από την ελάχιστη διάρκεια μιας προσήλωσης και αντιστοιχεί στην τιμή 360±87 ms. Η επίδραση του επιπέδου της περιεχόμενης πληροφορίας περιορίζεται μόνο στην απόκριση των υποκειμένων που αφορά το χρονικό διάστημα μετά τον εντοπισμό του συμβόλου από την κεντρική όραση ενώ το μέγεθος που εκφράζει τη μετάθεση του στόχου δεν δείχνει να έχει σημαντική επίδραση στη διαδικασία εντοπισμού.Η μεθοδολογία που παρουσιάζεται στα πλαίσια της παρούσας διδακτορικής διατριβής μπορεί αξιοποιηθεί για τη διερεύνηση των οριακών τιμών των μεταβλητών του χαρτογραφικού συμβολισμού που χρησιμοποιούνται για την οπτικοποίηση δυναμικών αλλαγών σε χάρτες κινούμενης εικόνας.