Novel Methods in H.264/AVC: Inter prediction, data hiding, bit rate transcoding

Abstract

H.264 Advanced Video Coding has become the dominant video coding standard in the market, within a few years after the first version of the standard was completed by the ISO/IEC MPEG and the ITU-T VCEG groups in May 2003. That happened mainly due to the great coding efficiency of H.264. Compared to MPEG-2, the previous dominant standard, the H.264 compression ratio is about twice as higher for the same video quality. That makes H.264 ideal for a numerous of applications, such as video broadcasting, video streaming and video conferencing. However, the H.264 efficiency is achieved at the expense of the codec’s complexity. H.264 complexity is about four times that of MPEG- 2. As a consequence, many video coding issues, which have been addressed in previous standards, need to be re-considered. For example the H.264 encoding of a video in real time is now an open issue. Re-applying older solutions is feasible but insufficient because the new H.264 characteristics are not taken into account and thus the problems caused by these characteristics are not properly addressed. On the other hand, these characteristics make possible a series of applications that either were not possible or showed inferior results prior the H.264 era. This dissertation aims at investigating novel methods, which take advantage of the new characteristics introduced by H.264. These methods are of two categories, namely enhancements and applied methods. The goal of the enhancements is to improve the performance of the H.264 encoder by reducing its complexity. We focused on the inter prediction part of the encoder. Three representative methods of this category are introduced; a fast full search algorithm, which reduces the motion estimation time (53.7%), a predictor, which optimizes the search area during the motion estimation and a reference frame selector, which reduces the motion estimation time (80%) by reducing the number of the reference frames during the motion estimation. The applied methods, on the other hand, exploit the special H.264 characteristics in order to improve their performance. Two data hiding methods are introduced, which result in high capacity of hidden data, e.g. 18 Kbits of data in 10 sec (30 fps) of video. In particular, the data hiding methods opened new directions in the research of the data hiding in video not only because of their unique capabilities (high data capacity, real time operation, reusability of the marked streams, etc.) but also because they moved the cost of the hidden data from the PSNR to the bit rate in contrast to all of the previously existing methods. In addition to the data hiding methods, a bit rate transcoder, which controls the bit rate directly in the compressed domain, is also introduced. Finally, a moving object detection method and a scene change detection method complete the repertoire of the applied methods.

To πρότυπο κωδικοποίησης video H.264 κυριάρχησε στη αγορά μέσα σε λίγα χρόνια αφότου η πρώτη έκδοσή του ολοκληρώθηκε από τις ομάδες εργασίας MPEG και VCEG των οργανισμών ISO και ITU αντίστοιχα, τον Μάιο του 2003. Αυτό οφείλεται κυρίως στην αποτελεσματικότητα του Η.264 όσον αφορά στην κωδικοποίηση του video. Χαρακτηριστικά, σε σύγκριση με το MPEG-2, το προηγούμενο κυρίαρχο πρότυπο, ο λόγος συμπίεσης που επιτυγχάνει το Η.264 είναι διπλάσιος για τη ίδια ποιότητα video. Αυτό καθιστά ιδανικό το H.264 για πολλές εφαρμογές, όπως τηλεοπτικές μεταδόσεις, video streaming και τηλεδιασκέψεων. Ωστόσο, η αποτελεσματικότητα του H.264 επιτυγχάνεται εις βάρος της πολυπλοκότητας του κωδικοποιητή. Η πολυπλοκότητα του κωδικοποιητή Η.264 είναι περίπου τέσσερις φορές όσο αυτή του MPEG-2. Κατά συνέπεια, πολλά προβλήματα κατά την κωδικοποίηση, τα οποία έχουν αντιμετωπιστεί στα προηγούμενα πρότυπα, πρέπει να επαναθεωρηθούν. Για παράδειγμα η κωδικοποίηση ενός video σε πραγματικό χρόνο είναι τώρα ένα ανοικτό θέμα. Παλαιότερες λύσεις είναι εφικτές, αλλά ανεπαρκείς, διότι τα νέα χαρακτηριστικά H.264 δεν λαμβάνονται υπόψη και έτσι τα προβλήματα που προκαλούνται από τα χαρακτηριστικά αυτά δεν αντιμετωπίζονται αποτελεσματικά. Από την άλλη πλευρά, τα χαρακτηριστικά αυτά καθιστούν δυνατές εφαρμογές, οι οποίες είτε δεν ήταν εφικτές είτε παρουσίαζαν φτωχά αποτελέσματα πριν την έλευση του H.264. Αυτή η διατριβή αποσκοπεί στη διερεύνηση νέων μεθόδων, οι οποίες επωφελoύνται από τα νέα χαρακτηριστικά του H.264. Οι μέθοδοι αυτές χωρίζονται σε δύο κατηγορίες, σε αναβαθμίσεις (enhancements) και σε εφαρμοσμένες μεθόδους (applied methods). Ο στόχος των αναβαθμίσεων είναι να βελτιώσουν τις επιδόσεις του κωδικοποιητή H.264 μείωνοντας την πολυπλοκότητά του. Εστιάσαμε την προσοχή μας στο κομμάτι του κωδικοποιητή που αφορά στην χρονική πρόβλεψη (inter prediction). Αναπτύχθηκαν τρεις αντιπροσωπευτικές μέθοδοι αυτής της κατηγορίας. Μία μέθοδος γρήγορης πλήρους αναζήτησης (fast full search algorithm), η οποία μειώνει το χρόνο εκτίμησης κίνησης (motion estimation) κατά 53,7%, μια μέθοδος, η οποία βελτιστοποιεί την περιοχή αναζήτησης κατά την εκτίμηση της κίνησης και έναν επιλογέα εικόνας αναφοράς, που μειώνει το χρόνο εκτίμησης της κίνησης (80%), μειώνοντας τον αριθμό των εικόνων αναφοράς κατά την εκτίμηση της κίνησης. Οι εφαρμοσμένες μέθοδοι, από την άλλη πλευρά, εκμεταλλεύονται τα ειδικά χαρακτηριστικά H.264 προκειμένου να βελτιώσουν τις επιδόσεις τους. Αναπτύχθηκαν δύο μέθοδοι απόκρυψης δεδομένων (data hiding), που οδηγούν σε υψηλή χωρητικότητα των κρυφών δεδομένων (data capacity), π.χ. 18 Kbits δεδομένων σε 10 δευτερόλεπτα (30 fps) του video. Ειδικότερα, οι μέθοδοι απόκρυψης δεδομένων ανοίγουν νέες κατευθύνσεις στο πεδίο έρευνας της απόκρυψης δεδομένων σε video, όχι μόνο λόγω των μοναδικών δυνατοτήτων τους (δεδομένα υψηλής χωρητικότητας, δυνατότητα επαναχρησιμοποίησης των δυαδικών ακολουθιών (bitstream), πραγματικό χρόνο λειτουργίας κ.λπ.), αλλά επίσης επειδή μετέφεραν το κόστος απόκρυψης δεδομένων από το PSNR στο ρυθμό μετάδοσης δεδομένων (bitrate), σε αντίθεση με τις ήδη υπάρχουσες μεθόδους. Επίσης αναπτύχθηκε μία τεχνική μετατροπής (transcoding), η οποία ελέγχει το ρυθμό μετάδοσης δεδομένων (bitrate transcoder) απευθείας στον συμπιεσμένο χώρο. Τέλος, μία μέθοδος ανίχνευσης κινούμενου αντικειμένου (moving object detection) και μία μέθοδος ανίχνευσης αλλαγής σκηνής (scene change detection) ολοκληρώνουν το ρεπερτόριο των εφαρμοσμένων μεθόδων.