Περίληψη
Οι πρόσφατες εξελίξεις στις τεχνολογίες εμβύθισης (immersive technologies), όπως η επαυξημένη και η εικονική πραγματικότητα (VR), έχουν οδηγήσει στην ευρεία υιοθέτηση των πανοραμικών βίντεο 360° (omnidirectional videos). Ωστόσο, η συνεχής ροή (streaming) βίντεο 360° παρουσιάζει τεράστιες προκλήσεις, καθώς απαιτεί εξαιρετικά υψηλούς ρυθμούς μετάδοσης δεδομένων (bitrates) και πολύ χαμηλή υστέρηση (latency) για τη διατήρηση μιας ικανοποιητικής ποιότητας εμπειρίας (QoE). Η παρούσα διατριβή αντιμετωπίζει αυτές τις προκλήσεις προτείνοντας καινοτόμες μεθοδολογίες βελτιστοποίησης για τη ροή βίντεο 360° που βασίζεται σε πλακίδια (tile-based streaming), εστιάζοντας σε τρεις βασικούς πυλώνες. Ο πρώτος πυλώνας θέτει τις βάσεις μέσω της ανάλυσης της συμπεριφοράς των χρηστών και της αξιολόγησης της συμπίεσης βίντεο. Αναλύοντας τις κινήσεις του κεφαλιού και τα μοτίβα θέασης πλακιδίων των χρηστών VR, η εργασία αυτή εντοπίζει σημαντικές δυνατότητες εξοικονόμησης ρυθμού μετάδοσης. Αναπτύσσονται τεχνικές ...
Οι πρόσφατες εξελίξεις στις τεχνολογίες εμβύθισης (immersive technologies), όπως η επαυξημένη και η εικονική πραγματικότητα (VR), έχουν οδηγήσει στην ευρεία υιοθέτηση των πανοραμικών βίντεο 360° (omnidirectional videos). Ωστόσο, η συνεχής ροή (streaming) βίντεο 360° παρουσιάζει τεράστιες προκλήσεις, καθώς απαιτεί εξαιρετικά υψηλούς ρυθμούς μετάδοσης δεδομένων (bitrates) και πολύ χαμηλή υστέρηση (latency) για τη διατήρηση μιας ικανοποιητικής ποιότητας εμπειρίας (QoE). Η παρούσα διατριβή αντιμετωπίζει αυτές τις προκλήσεις προτείνοντας καινοτόμες μεθοδολογίες βελτιστοποίησης για τη ροή βίντεο 360° που βασίζεται σε πλακίδια (tile-based streaming), εστιάζοντας σε τρεις βασικούς πυλώνες. Ο πρώτος πυλώνας θέτει τις βάσεις μέσω της ανάλυσης της συμπεριφοράς των χρηστών και της αξιολόγησης της συμπίεσης βίντεο. Αναλύοντας τις κινήσεις του κεφαλιού και τα μοτίβα θέασης πλακιδίων των χρηστών VR, η εργασία αυτή εντοπίζει σημαντικές δυνατότητες εξοικονόμησης ρυθμού μετάδοσης. Αναπτύσσονται τεχνικές πρόβλεψης του πεδίου θέασης (viewport prediction) μέσω βαθιάς μάθησης για την ταξινόμηση των πλακιδίων σε «θεαμένα» ή «μη θεαμένα» βάσει ιστορικών δεδομένων· ένα δίκτυο Μακράς Βραχυπρόθεσμης Μνήμης (LSTM) επιτυγχάνει την υψηλότερη ακρίβεια ταξινόμησης με 94,62% και υιοθετείται για την προληπτική ροή δεδομένων. Επιπλέον, η αξιολόγηση των προτύπων συμπίεσης βίντεο αναδεικνύει την υπεροχή του VVC/H.266 έναντι του AV1. Η δοκιμή διαφόρων επιπέδων ανάλυσης πλακιδίων (tiling granularities) δείχνει ότι ένα πλέγμα 8x8 προσφέρει την ιδανική χρυσή τομή μεταξύ της ευελιξίας ροής και της αποδοτικότητας συμπίεσης. Ο δεύτερος πυλώνας επικεντρώνεται στο πρόβλημα επιλογής ποιότητας πλακιδίων για μετάδοση σε πολλαπλούς χρήστες σε περιβάλλοντα περιορισμένου εύρους ζώνης (bandwidth). Χρησιμοποιώντας ως αντικειμενική συνάρτηση μια μετρική αξιολόγησης ποιότητας βίντεο 360° που λαμβάνει υπόψη το πεδίο θέασης (viewport-aware 360° VQA), το πρόβλημα διατυπώνεται ως ένα πρόβλημα σακιδίου πολλαπλών επιλογών (MCKP). Ένας κλιμακώσιμος άπληστος (greedy) αλγόριθμος αναθέτει τα βέλτιστα επίπεδα ποιότητας πλακιδίων, αξιοποιώντας τα συγκεντρωτικά βάρη των πλακιδίων στα πεδία θέασης των χρηστών. Δίνοντας προτεραιότητα στα κεντρικά πλακίδια του πεδίου θέασης έναντι των πλακιδίων των άκρων, η προσέγγιση αυτή επιδεικνύει ισχυρή ανθεκτικότητα σε σφάλματα πρόβλεψης. Σε προσομοιώσεις με οκτώ ταυτόχρονους χρήστες, η προτεινόμενη μέθοδος βελτιώνει τον λόγο σήματος προς θόρυβο του παραδιδόμενου πεδίου θέασης (VWS-PSNR) κατά 0,67 έως 1,28 dB σε σύγκριση με τις μεθόδους αναφοράς. Ο τρίτος πυλώνας αφορά την αξιολόγηση της ποιότητας για βίντεο 360° πολλαπλών ποιοτήτων βασισμένων σε πλακίδια. Ένα υποκειμενικό πείραμα με 27 χρήστες σε έξι βίντεο κωδικοποιημένα με δώδεκα διαφορετικά μοτίβα πλακιδίων οδήγησε στη δημιουργία του συνόλου δεδομένων STAV360 — του πρώτου συνόλου δεδομένων 360° VQA για ροή δεδομένων μικτής ποιότητας βασισμένη σε πλακίδια. Αξιοποιώντας τις συλλεχθείσες Μέσες Βαθμολογίες Γνώμης (MOS) και τις κατευθύνσεις θέασης, αναπτύχθηκε μια σειρά αντικειμενικών μετρικών 360° VQA που λαμβάνουν υπόψη τις χωρικές διακυμάνσεις της ποιότητας. Τα προτεινόμενα μοντέλα VQA, τόσο τα βασισμένα σε πλακίδια όσο και εκείνα που βασίζονται στο πεδίο θέασης, υπερέχουν σημαντικά των μετρικών πλήρους κάδρου (full-frame), με το κορυφαίο μοντέλο να επιτυγχάνει συντελεστή συσχέτισης Pearson (PCC) 0,880 και συντελεστή συσχέτισης Spearman (SROCC) 0,883. Συνολικά, οι συνεισφορές αυτές εξελίσσουν τη διανομή περιεχομένου εμβύθισης μοντελοποιώντας τη συμπεριφορά και την αντίληψη των χρηστών VR, διευκολύνοντας έξυπνες στρατηγικές ροής και επιτρέποντας απρόσκοπτες, υψηλής ποιότητας εμπειρίες VR.
περισσότερα
Περίληψη σε άλλη γλώσσα
Recent advancements in immersive technologies like augmented and virtual reality (VR) have driven the adoption of 360° omnidirectional videos. However, streaming 360° video presents massive challenges, requiring high bitrates and ultra-low latency to maintain a satisfactory quality of experience (QoE). This thesis addresses these challenges by proposing novel optimization methodologies for tile-based 360° video streaming across three core pillars. The first pillar establishes a foundation through user behavior analysis and video compression evaluation. By analyzing VR users' head movements and tile-viewing patterns, this work identifies significant potential for bitrate savings. Deep learning viewport prediction is developed to classify tiles as watched or unwatched based on historical traces; a Long Short-Term Memory (LSTM) network is found to achieve the highest classification accuracy at 94.62% and is adopted for proactive streaming. Additionally, an evaluation of video compression ...
Recent advancements in immersive technologies like augmented and virtual reality (VR) have driven the adoption of 360° omnidirectional videos. However, streaming 360° video presents massive challenges, requiring high bitrates and ultra-low latency to maintain a satisfactory quality of experience (QoE). This thesis addresses these challenges by proposing novel optimization methodologies for tile-based 360° video streaming across three core pillars. The first pillar establishes a foundation through user behavior analysis and video compression evaluation. By analyzing VR users' head movements and tile-viewing patterns, this work identifies significant potential for bitrate savings. Deep learning viewport prediction is developed to classify tiles as watched or unwatched based on historical traces; a Long Short-Term Memory (LSTM) network is found to achieve the highest classification accuracy at 94.62% and is adopted for proactive streaming. Additionally, an evaluation of video compression standards reveals the superiority of VVC/H.266 over other existing schemes. Testing various tiling granularities shows that an 8x8 grid offers the optimal trade-off between streaming flexibility and compression efficiency. The second pillar focuses on the tile quality selection problem for multi-user transmission in bandwidth-constrained environments. Using a viewport-aware 360° video quality assessment (360° VQA) metric as the objective function, the problem is formulated as a multiple-choice knapsack problem (MCKP). A scalable greedy algorithm assigns optimal tile quality levels by leveraging aggregated tile weights across user viewports. By prioritizing central viewport tiles over edge tiles, this approach demonstrates strong resilience to viewport prediction errors. In simulations with eight concurrent users, the proposed method improves the delivered viewport weighted-to-spherical peak signal-to-noise ratio (VWS-PSNR) by 0.67 to 1.28 dB over baseline methods. The third pillar addresses quality assessment for multi-quality, tile-based 360° videos. A subjective experiment with 27 users across six videos encoded with twelve distinct tile encoding patterns resulted in the STAV360 dataset, which is the first 360° VQA dataset for mixed-quality tile-based streaming. Leveraging the collected Mean Opinion Scores (MOS) and viewing directions, a set of objective 360° VQA metrics considering spatial quality variations was developed. The proposed tile-based and viewport-tile-based VQA models significantly outperform full-frame metrics, with the top-performing model achieving a Pearson’s correlation coefficient (PCC) of 0.880 and a Spearman’s rank-order correlation coefficient (SROCC) of 0.883. Together, these contributions advance immersive content delivery by modeling VR user behavior and perception, facilitating intelligent streaming strategies, and enabling seamless, high-quality VR experiences.
περισσότερα