On quality aware adaptation of internet video

Abstract

The main issue in video streaming over the Internet is that of adaptation: due to the Internet’s “best-effort” service model, the availability of sufficient bandwidth to guarantee good quality is not always feasible. Instead, congestion control over shared resources is required, which leads to fluctuations in available bandwidth. These transmission rate variations introduce a first level of quality degradation. Moreover, the time-varying complexity of the underlying visual scenes requires significantly varying transmission bandwidth in order to achieve good quality; otherwise, fluctuations in quality are observed. To address these problems, many rate adaptation techniques have been proposed. However, these approaches either consider adaptation exclusively from a network perspective, such as TCP-friendliness, completely ignoring the impact on quality, or they use simplified quality metrics, such as peak signal-to-noise ratio (PSNR), which do not necessarily provide accurate representations of the quality as perceived by the video service user. This dissertation advocates the incorporation of emerging objective video quality metrics into the adaptation loop of Internet video. As a result of recent research efforts, objective quality metrics constitute computational models that produce quality assessments highly correlated with human judgments of quality. Taking into account the time-varying relationship between video content characteristics, the available bit rate, and their combined impact on perceived quality, this dissertation investigates quality-driven rate adaptation techniques that improve the final perceived quality in the context of two different video streaming application scenarios. First, the dissertation examines applications involving the transmission of multiple simultaneous multimedia streams to a single receiver, such as the transmission and display of multiple video streams depending on the application scenario. The problem of efficiently allocating the available session bandwidth among the individual multimedia streams is addressed, allowing participating streams to jointly adapt their transmission rates while considering their respective time-varying quality. Appropriate adaptation time scales are proposed, aligned with changes in video content, such as scene changes, along with an inter-stream adaptation mechanism that takes into account the time-varying objective quality of the participating streams. Experimental results demonstrate the benefits of the proposed method in terms of improved session quality and better utilization of available bandwidth, compared to: (a) priority-based inter-stream adaptation and (b) the case where session streams are transmitted over independent congestion-controlled connections. Next, the dissertation addresses the problem of providing smooth quality-driven rate adaptation for live, unicast real-time video streaming. Since real-time performance is required, an objective quality metric cannot be directly applied within the stream, as it is computationally demanding. For this reason, artificial neural networks are employed to predict quality scores in real time. The predictions are based on descriptive features of the video content and the bandwidth available to the stream. The limitations of existing approaches in providing stable or smooth quality are identified. A rate–quality controller based on fuzzy logic principles is then developed, aiming to reduce annoying short-term quality fluctuations caused by mismatches between available bandwidth and the rate required for stable quality. Based on the neural network’s quality predictions, the controller continuously monitors recent quality values, the nominal transmission rate, and the buffer occupancy levels of the participating buffers, in order to compute appropriate encoding rates that eliminate short-term quality variations. Experimental results show that the proposed solution provides significant short-term quality stability and smooths undesirable oscillations toward extreme low and high quality levels, while respecting rate constraints and maintaining buffer stability.By presenting extensive experimental results across a wide variety of video sequences, this dissertation demonstrates that video streaming systems can exploit objective perceptual quality metrics to deliver improved presentation quality by applying quality-driven adaptation techniques tailored to the semantics of each specific streaming application.

Το κύριο ζήτημα στη μετάδοση βίντεο μέσω ροής στο Διαδίκτυο είναι αυτό της προσαρμογής: λόγω του μοντέλου υπηρεσίας «βέλτιστης προσπάθειας» του Διαδικτύου, η ύπαρξη επαρκούς εύρους ζώνης για την εγγύηση καλής ποιότητας δεν είναι πάντοτε εφικτή. Αντίθετα, απαιτείται η εφαρμογή ελέγχου συμφόρησης των κοινόχρηστων πόρων, γεγονός που οδηγεί σε διακυμάνσεις στη διαθεσιμότητα του εύρους ζώνης. Αυτές οι διακυμάνσεις του ρυθμού μετάδοσης εισάγουν ένα πρώτο επίπεδο υποβάθμισης της ποιότητας. Επιπλέον, η χρονικά μεταβαλλόμενη πολυπλοκότητα των υποκείμενων οπτικών σκηνών απαιτεί σημαντικά μεταβαλλόμενο εύρος ζώνης μετάδοσης προκειμένου να επιτευχθεί καλή ποιότητα, διαφορετικά, εμφανίζονται διακυμάνσεις στην ποιότητα. Για την αντιμετώπιση αυτών των προβλημάτων έχουν προταθεί πολλές τεχνικές προσαρμογής ρυθμού. Ωστόσο, οι προτάσεις αυτές είτε εξετάζουν την προσαρμογή αποκλειστικά από την άποψη του δικτύου, όπως η φιλικότητα προς το TCP, αγνοώντας πλήρως την επίδραση στην ποιότητα, ή χρησιμοποιούν απλουστευμένες μετρικές ποιότητας, όπως ο λόγος μέγιστου σήματος προς θόρυβο, οι οποίες δεν αποτελούν απαραίτητα ακριβείς αναπαραστάσεις της ποιότητας όπως αυτή γίνεται αντιληπτή από τον χρήστη της υπηρεσίας βίντεο. Η παρούσα διατριβή υποστηρίζει την ενσωμάτωση αναδυόμενων αντικειμενικών μετρικών ποιότητας βίντεο στον κύκλο προσαρμογής του διαδικτυακού βίντεο. Ως αποτέλεσμα πρόσφατων ερευνητικών προσπαθειών, οι αντικειμενικές μετρικές ποιότητας αποτελούν υπολογιστικά μοντέλα που παράγουν αξιολογήσεις ποιότητας οι οποίες παρουσιάζουν υψηλή συσχέτιση με τις ανθρώπινες κρίσεις περί ποιότητας. Λαμβάνοντας υπόψη τη χρονικά μεταβαλλόμενη σχέση μεταξύ των χαρακτηριστικών του περιεχομένου βίντεο, του διαθέσιμου ρυθμού bit και της επίδρασης και των δύο στην αντιλαμβανόμενη ποιότητα, η παρούσα διατριβή μελετά τεχνικές προσαρμογής ρυθμού με γνώμονα την ποιότητα, οι οποίες βελτιώνουν την τελική αντίληψη ποιότητας στο πλαίσιο δύο διαφορετικών σεναρίων εφαρμογής της ροής βίντεο. Αρχικά, η διατριβή εξετάζει εφαρμογές που περιλαμβάνουν τη μετάδοση πολλαπλών ταυτόχρονων ροών πολυμέσων προς έναν δέκτη, όπως η μετάδοση και προβολή πολλών ροών βίντεο, ανάλογα με το σενάριο εφαρμογής. Αντιμετωπίζεται το πρόβλημα της αποδοτικής κατανομής του διαθέσιμου εύρους ζώνης μιας συνεδρίας πολλαπλών ροών μεταξύ των επιμέρους ροών πολυμέσων της, επιτρέποντας στις συμμετέχουσες ροές να προσαρμόζουν από κοινού τους ρυθμούς μετάδοσής τους, λαμβάνοντας υπόψη την αντίστοιχη χρονικά μεταβαλλόμενη ποιότητά τους. Προτείνονται κατάλληλες χρονικές κλίμακες προσαρμογής, οι οποίες συμπίπτουν με αλλαγές στο περιεχόμενο του βίντεο, όπως οι αλλαγές σκηνής, καθώς και ένας μηχανισμός προσαρμογής μεταξύ ροών που λαμβάνει υπόψη τη χρονικά μεταβαλλόμενη αντικειμενική ποιότητα των συμμετεχουσών ροών. Τα πειραματικά αποτελέσματα καταδεικνύουν τα οφέλη της προτεινόμενης μεθόδου, ως προς τη βελτιωμένη ποιότητα της συνεδρίας και την αξιοποίηση του διαθέσιμου εύρους ζώνης της συνεδρίας, σε σύγκριση με: α) μια προσαρμογή μεταξύ ροών βασισμένη σε προτεραιότητες και β) την περίπτωση κατά την οποία οι ροές της συνεδρίας μεταδίδονται μέσω ανεξάρτητων συνδέσεων με έλεγχο συμφόρησης. Στη συνέχεια, η διατριβή ασχολείται με το πρόβλημα της παροχής ομαλής προσαρμογής ρυθμού ποιότητας για ζωντανή, μονοεκπομπική ροή βίντεο πραγματικού χρόνου. Επειδή απαιτείται απόδοση σε πραγματικό χρόνο, μια αντικειμενική μετρική ποιότητας δεν μπορεί να εφαρμοστεί απευθείας εντός της ροής, καθώς είναι υπολογιστικά απαιτητική. Για τον λόγο αυτό, χρησιμοποιούνται τεχνητά νευρωνικά δίκτυα για την πρόβλεψη αξιολογήσεων ποιότητας σε πραγματικό χρόνο. Οι προβλέψεις βασίζονται σε περιγραφικά χαρακτηριστικά του περιεχομένου βίντεο και στο εύρος ζώνης που είναι διαθέσιμο στη ροή. Εντοπίζονται οι περιορισμοί των υφιστάμενων προσεγγίσεων ως προς την παροχή σταθερής ή ομαλής ποιότητας. Στη συνέχεια αναπτύσσεται ένας ελεγκτής ρυθμού-ποιότητας, βασισμένος στις αρχές της ασαφούς λογικής, με στόχο τη μείωση ενοχλητικών βραχυπρόθεσμων διακυμάνσεων ποιότητας που εμφανίζονται λόγω αναντιστοιχιών μεταξύ του διαθέσιμου εύρους ζώνης και του ρυθμού που απαιτείται για σταθερή ποιότητα. Με βάση τις προβλέψεις ποιότητας του νευρωνικού δικτύου, ο ελεγκτής παρακολουθεί συνεχώς τις πρόσφατες τιμές ποιότητας, τον ονομαστικό ρυθμό μετάδοσης και τα επίπεδα πληρότητας των συμμετεχόντων buffer, ώστε να υπολογίζει κατάλληλους ρυθμούς κωδικοποίησης που εξαλείφουν τις βραχυπρόθεσμες διακυμάνσεις ποιότητας. Τα πειραματικά αποτελέσματα δείχνουν ότι η προτεινόμενη λύση προσφέρει σημαντική σταθερότητα στη βραχυπρόθεσμη ποιότητα και εξομαλύνει ενοχλητικές ταλαντώσεις της ποιότητας προς ακραία χαμηλές και υψηλές τιμές, ενώ ταυτόχρονα σέβεται τους περιορισμούς του ρυθμού μετάδοσης και διατηρεί τη σταθερότητα των buffer. Παρουσιάζοντας πολυάριθμα πειραματικά αποτελέσματα με μεγάλη ποικιλία ακολουθιών βίντεο, η παρούσα διατριβή δείχνει ότι τα συστήματα ροής βίντεο μπορούν να αξιοποιήσουν αντικειμενικά μέτρα αντιλαμβανόμενης ποιότητας, ώστε να παρέχουν βελτιωμένη ποιότητα παρουσίασης, εφαρμόζοντας τεχνικές προσαρμογής με γνώμονα την ποιότητα, προσαρμοσμένες στη σημασιολογία της εκάστοτε συγκεκριμένης εφαρμογής ροής.

Le principal enjeu dans la transmission de vidéo en streaming sur Internet est celui de l’adaptation : en raison du modèle de service « best effort » d’Internet, la disponibilité d’une bande passante suffisante pour garantir une bonne qualité n’est pas toujours possible. Il est donc nécessaire de recourir au contrôle de congestion des ressources partagées, ce qui entraîne des variations dans la disponibilité de la bande passante. Ces variations du débit de transmission introduisent un premier niveau de dégradation de la qualité. En outre, la complexité variable dans le temps des scènes visuelles sous-jacentes exige une bande passante de transmission fortement fluctuante afin d’obtenir une bonne qualité ; dans le cas contraire, des oscillations de qualité apparaissent.

Afin de résoudre ces problèmes, de nombreuses techniques d’adaptation du débit ont été proposées. Toutefois, ces propositions considèrent soit l’adaptation uniquement du point de vue du réseau, comme la compatibilité avec TCP, l’adaptation du débit et la stratification, en ignorant complètement l’effet sur la qualité, soit elles utilisent des métriques de qualité simplistes, comme le rapport signal-bruit de crête, qui ne constituent pas nécessairement des représentations fidèles de la qualité telle qu’elle est perçue par l’utilisateur du service vidéo.

Cette thèse préconise l’intégration de métriques objectives émergentes de qualité vidéo dans le cycle d’adaptation de la vidéo sur Internet. Issues de récents efforts de recherche, les métriques objectives de qualité sont des modèles computationnels qui produisent des évaluations de qualité fortement corrélées aux jugements humains de la qualité. En tenant compte de la relation variable dans le temps entre les propriétés du contenu vidéo, le débit binaire disponible et l’effet de ces deux éléments sur la qualité perçue, cette thèse étudie des techniques d’adaptation du débit tenant compte de la qualité, qui améliorent la perception finale de la qualité dans le contexte de deux scénarios d’application différents du streaming vidéo.

Tout d’abord, la thèse examine des applications impliquant la transmission de plusieurs flux multimédias simultanés vers un récepteur, par exemple la transmission et l’affichage de plusieurs flux vidéo, selon le scénario d’application concerné. Le problème abordé est celui de la répartition efficace de la bande passante disponible d’une session multiflux entre ses différents flux multimédias constitutifs, en permettant aux flux participants d’adapter conjointement leurs débits de transmission en tenant compte de leur qualité respective variable dans le temps. Des échelles temporelles d’adaptation appropriées, coïncidant avec les changements du contenu vidéo, tels que les changements de scène, ainsi qu’un mécanisme d’adaptation inter-flux prenant en compte la qualité objective variable dans le temps des flux participants, sont proposés. Les résultats expérimentaux démontrent les avantages de la méthode proposée en termes d’amélioration de la qualité de la session et d’utilisation de la bande passante disponible, par comparaison avec : a) une adaptation inter-flux fondée sur des priorités et b) le cas où les flux de la session sont transmis au moyen de connexions indépendantes avec contrôle de congestion.

Ensuite, la thèse traite le problème de la fourniture d’une adaptation fluide du débit et de la qualité pour le streaming vidéo en direct, unicast et en temps réel. Étant donné que des performances en temps réel sont nécessaires, une métrique objective de qualité ne peut pas être appliquée directement en ligne, car elle est coûteuse sur le plan computationnel. Pour cette raison, des réseaux de neurones artificiels sont utilisés afin de prédire les évaluations de qualité en temps réel. Ces prédictions sont fondées sur des caractéristiques descriptives du contenu vidéo ainsi que sur la bande passante disponible pour le flux.

Les limites des approches existantes visant à fournir une qualité stable ou fluide sont identifiées. Un contrôleur débit-qualité, fondé sur les principes de la logique floue, est ensuite développé afin de réduire les variations gênantes de qualité à court terme qui apparaissent en raison des inadéquations entre la bande passante disponible et le débit nécessaire pour maintenir une qualité stable. Sur la base des prédictions de qualité fournies par le réseau de neurones, le contrôleur surveille en continu les valeurs récentes de qualité, le débit nominal de transmission et les niveaux d’occupation des tampons participants, afin de calculer des débits d’encodage appropriés permettant d’éliminer les fluctuations de qualité à court terme.

Les résultats expérimentaux montrent que la solution proposée offre une stabilité significative de la qualité à court terme et lisse les oscillations gênantes de qualité vers des valeurs extrêmes basses et élevées, tout en respectant les contraintes du débit de transmission et en préservant la stabilité des tampons.

En présentant de nombreux résultats expérimentaux obtenus avec une grande variété de séquences vidéo, cette thèse montre que les systèmes de streaming vidéo peuvent exploiter des mesures objectives de la qualité perçue afin de fournir une qualité de présentation améliorée, en appliquant des techniques d’adaptation tenant compte de la qualité et adaptées à la sémantique de chaque application spécifique de streaming.