Understanding file and information sharing services in web 2.0

Abstract

Web 2.0 reflects the current practices in web page design and usage that turned the web into an application platform and enabled users to create social communities. In this dissertation we examine two widely used mechanisms that enable file and information sharing in web 2.0. Furthermore, we illustrate the design and applicability of a new technique for performing distributed measurement and monitoring tasks. First, we look at One-Click Hosting (OCH) services, a relatively new type of services, such as RapidShare and MegaUpload, which offer users the ability to share files through centralized servers. OCH services are continuously increasing and challenge the dominant usage of peer-to-peer (p2p) systems for file sharing. Our study uses a combination of passive and active measurements, and tries to understand OCH service’s architecture, usage patterns and content characteristics. Furthermore, we compare RapidShare, the leading OCH platform, with BitTorrent in terms of user-perceived throughput and content availability, and explore the characteristics of some popular RapidShare indexing sites, a fundamental component for content discovery. Second, we provide a wide characterization study of URL shortening services, a number of services, especially popular within online social networks that keep a mapping of submitted URLs to shorter equivalents and redirect users to the original URL upon request. Using traces of short URLs collected both from crawling a number of URL shortening services, and collecting short URLs that appear in Twitter messages, we analyze the usage of short URLs in general and in the context of certain social communities. Furthermore, we challenge the performance benefits and implications of their wide usage. Finally, we present MOR, a technique for performing distributed measurement and monitoring tasks using the geographically diverse infrastructure of the Tor anonymizing network. MOR evolved during our study of One-Click Hosting services and the need for examining their infrastructure properties. Not limited to that analysis, we also provide a number of case studies that show the applicability and value of MOR in examining Internet services and detecting network neutrality violations. The results of this research are the following. First, we show that OCH services have all the means to compete with p2p systems for becoming the dominant file sharing platform. While built on a typical web data-center infrastructure, their usage patterns suggest little benefit from deploying a more distributed infrastructure. Second, through the study of URL shortening services we observe that short URLs reflect an “alternative” web, with different popularity and lifetime patterns, compared to access patterns as seen for the traditional web community. Overall, our work highlights that if both these services continue to increase they will become part of the web’s critical infrastructure with profound impact in its usage and performance, creating a need for the study and development of alternative architectures and distribution methods.

Ο όρος web 2.0 αντικατοπτρίζει τις τρέχουσες πρακτικές στο σχεδιασμό και τη χρήση ιστοσελίδων, οι οποίες οδήγησαν στη μετατροπή του Παγκόσμιου Ιστού σε πλατφόρμα εφαρμογών και επέτρεψαν στους χρήστες του να δημιουργήσουν κοινωνικά δίκτυα και ομάδες. Στη διατριβή αυτή εξετάζουμε δυο ευρέως διαδεδομένους μηχανισμούς που επιτρέπουν το διαμοιρασμό αρχείων και πληροφορίας στο web 2.0. Επιπλέον, παρουσιάζουμε το σχεδιασμό και την εφαρμοσιμότητα μιας νέας τεχνικής που δίνει τη δυνατότητα για την εκτέλεση κατανεμημένων μετρήσεων και διαδικασιών επίβλεψης δικτύων. Αρχικά, εξετάζουμε τις υπηρεσίες One-Click Hosting (OCH), ένα σχετικά νέο τύπο υπηρεσιών οι οποίες προσφέρουν στους χρήστες τη δυνατότητα να μοιράζονται αρχεία μέσω ενός κεντρικοποιημένου συστήματος εξυπηρετητών. Η χρήση τέτοιων υπηρεσιών αυξάνει συνεχώς τα τελευταία χρόνια και τις έχει φέρει σε "θέση να απειλούν την πρωτοκαθεδρία των συστημάτων peer-to-peer (p2p) στο τομέα του διαμοιρασμού αρχείων μεταξύ των χρηστών του Διαδικτύου. Στη μελέτη μας, μέσω ενός συνδυασμού από παθητικές και ενεργητικές μετρήσεις, προσπαθούμε να κατανοήσουμε την αρχιτεκτονική των OCH υπηρεσιών, τα πρότυπα χρήσης τους και τα χαρακτηριστικά του περιεχομένου το οποίο ανταλλάζεται μέσω αυτών. Επιπλέον, συγκρίνουμε τις ταχύτητες μετάδοσης και τη διαθεσιμότητα περιεχομένου, στο RapidShare, την δημοφιλέστερη OCH υπηρεσία, όπως αυτές τις αντιλαμβάνονται οι χρήστες του με τις αντίστοιχες που αντιλαμβάνονται οι χρήστες του BitTorrent. Τέλος, διερευνούμε τα χαρακτηριστικά μερικών δημοφιλών ιστοσελίδων-ευρετήρια, οι οποίες αποτελούν ένα θεμελιώδες κομμάτι της διαδικασίας ανακάλυψης περιεχομένου στο RapidShare. Στη συνέχεια προχωράμε σε μια μελέτη κατανόησης των υπηρεσιών URL shortening, ένα είδος υπηρεσιών, ευρέως διαδεδομένα στις υπηρεσίες κοινωνικής δικτύωσης, οι οποίες κρατάνε την αντιστοίχηση ενός URL σε ένα μικρότερο ισοδύναμο και ανακατευθύνουν τους χρήστες στο αρχικό URL όταν αυτοί το ζητήσουν. Χρησιμοποιώντας δεδομένα για τα short URLs που μαζέψαμε μέσω επισκέψεων σε ένα αριθμό από URL shortening υπηρεσίες, αλλά και συλλέγοντας short URLs που εμφανίστηκαν σε μηνύματα στο Twitter, καταφέρνουμε να αναλύσουμε τη χρήση των short URLs γενικότερα στο Παγκόσμιο Ιστό, όσο και στο πλαίσιο συγκεκριμένων κοινωνικών ομάδων. Επίσης, μελετάμε τα πλεονεκτήματα της χρήσης των short URLs αλλά και τις επιπτώσεις που προκύπτουν από αυτή. Τέλος, παρουσιάζουμε το MOR, μια τεχνική που δίνει τι δυνατότητα για την εκτέλεση κατανεμημένων μετρήσεων και διαδικασιών επίβλεψης δικτύων χρησιμοποιώντας τη γεωγραφικώς κατανεμημένη υποδομή του διχτύου ανώνυμης πρόσβασης, ToR. To MOR αναπτύχθηκε κατά τη διάρκεια της μελέτης των υπηρεσιών One-Click Hosting, μέσα από την ανάγκη για κατανόηση της υποδομής των υπηρεσιών αυτών. Επιπλέον αυτού, παρουσιάζουμε έναν αριθμό από περιπτώσεις που δείχνουν την εφαρμοσιμότητα και τις δυνατότητες που προσφέρει το MOR στην εξέταση διαφόρων διαδικτυακών υποδομών καθώς και στη ανίχνευση παραβιάσεων της ουδετερότητας του Διαδικτύου. Τα αποτελέσματα της έρευνας μας μπορούν να συνοψιστούν στα ακόλουθα. Πρώτο, δείχνουμε ότι οι υπηρεσίες OCH έχουν όλες τις προϋποθέσεις για να ανταγωνιστούν τα συστήματα p2p και να γίνουν η κύρια πλατφόρμα διαμοιρασμού αρχείων στο διαδίκτυο. Τα πρότυπα χρήσης τους δείχνουν ότι η ανάπτυξη μιας κατανεμημένης υποδομής δε θα οδηγούσε σε σημαντικά οφέλη, και δικαιώνουν την επιλογή μιας τυπικής web υποδομής. Δεύτερο, μέσω της μελέτης των υπηρεσιών URL shortening παρατηρούμε ότι η χρήση των short URLs αντικατοπτρίζει ένα «εναλλακτικό» ιστό, με διαφορετικά πρότυπα δημοτικότητας και διάρκειας ζωής, σε σχέση με τα αντίστοιχα στο παραδοσιακό Παγκόσμιο Ιστό. Συνολικά, η δουλειά μας τονίζει πως εάν η χρήση των δύο αυτών υπηρεσιών συνεχίζει να αυξάνει τότε οι υπηρεσίες θα γίνουν μέρος της υποδομής ζωτικής σημασίας του Παγκόσμιου Ιστού, με σημαντικές επιπτώσεις τόσο στην χρήση όσο και στην απόδοσή του. Οι επιπτώσεις αυτές δημιουργούν την ανάγκη για τη μελέτη και ανάπτυξη εναλλακτικών web αρχιτεκτονικών και μεθόδων διαμοιρασμού.