Efficient algorithms for big data management

Abstract

In the context of the doctoral research, I dealt with data management problems by developing methods and techniques that, on the one hand, maintain or improve the privacy and anonymity of users and, on the other hand, are efficient in terms of time and storage space for large volumes of databases. The research results of the work focus on the following: Evaluate the performance of queries in a large volume database using or not the Bloom Filter structure. Evaluate workload time, memory and disk usage of the Privacy Preserving Record Linkage (PPRL) problem in Hadoop MapReduce Framework. Methods of answering queries of nearest neighbors to spatio-temporal data (moving users trajectories) in order to preserve anonymity, where queries are applied to clustered or non-clustered data. The k anonymity method was used, where, the set of anonymity with which each moving object of the space-time database is being camouflaged, consists of its k nearest neighbors. The robustness of the method was quantified with a probability of 1/k and the effect of dimensionality and correlation of the data on the preservation of anonymity and privacy was studied. The above method was improved in terms of efficient storage of spatio-temporal data by applying queries of nearest neighbors to Hough transformed nonlinear trajectories of moving objects. The application of secure k-NN queries was evaluated in the GeoSpark environment. Sentiment Analysis on Twitter Data and Tourist Forecasting at Apache Spark

Στο πλαίσιο της διδακτορικής έρευνας, ασχολήθηκα με προβλήματα διαχείρισης δεδομένων αναπτύσσοντας μεθόδους και τεχνικές που, αφενός, διατηρούν ή βελτιώνουν το απόρρητο και την ανωνυμία των χρηστών και, αφετέρου, είναι αποτελεσματικές από άποψη χρόνου και αποθήκευσης χώρου για μεγάλου όγκου βάσεις δεδομένων. Τα ερευνητικά αποτελέσματα της εργασίας επικεντρώνονται στα εξής: Αξιολόγηση της απόδοσης των ερωτημάτων σε μια βάση δεδομένων μεγάλου όγκου χρησιμοποιώντας ή όχι τη δομή Bloom Filter. Αξιολόγηση το χρόνο φόρτου εργασίας, τη μνήμη και τη χρήση του δίσκου του προβλήματος Διατήρησης Απορρήτου Σύνδεση Εγγραφής (PPRL) στο Hadoop MapReduce Framework. Μέθοδοι απάντησης ερωτημάτων των πλησιέστερων γειτόνων σε χωροχρονικά δεδομένα (κινούμενες τροχιές χρηστών) προκειμένου να διατηρηθεί η ανωνυμία, όπου τα ερωτήματα εφαρμόζονται σε ομαδοποιημένα ή μη δεδομένα. Χρησιμοποιήθηκε η μέθοδος k ανωνυμίας, όπου, το σύνολο ανωνυμίας με το οποίο "καμουφλάρεται" κάθε κινούμενο αντικείμενο της χωροχρονικής βάσης δεδομένων, αποτελείται από τους k πλησιέστερους γείτονές του. Η ευρωστία της μεθόδου ποσοτικοποιήθηκε με πιθανότητα 1/k και μελετήθηκε η επίδραση της διαστάσεων και της συσχέτισης των δεδομένων στη διατήρηση της ανωνυμίας και της ιδιωτικότητας. Η παραπάνω μέθοδος βελτιώθηκε από την άποψη της αποτελεσματικής αποθήκευσης χωροχρονικών δεδομένων με την εφαρμογή ερωτημάτων των πλησιέστερων γειτόνων στις μετασχηματισμένες μη γραμμικές τροχιές κινούμενων αντικειμένων κατά Hough. Επιπλέον γίνεται εφαρμογή ασφαλών ερωτημάτων k-NN αξιολογήθηκε στο περιβάλλον GeoSpark, ανάλυση συναισθήματος σε δεδομένα Twitter και προβλέψεις για τον τουρισμό στο Apache Spark περιβάλλον.