Urban data analytics and applications in the big data era

Abstract

In recent years we have seen both the proliferation of smart devices in people's daily habits and activities and the advent of the Internet of Things as the basis on which numerous smart applications and services are being developed to solve various problems in cities, from traffic monitoring, pollution and noise monitoring to healthcare, transport infrastructure and financial data processing. The plethora of available data sources has provided a range of important options for monitoring and assessing the state of a smart city in real time. New distributed big data processing and analysis systems, such as Apache Hadoop, Apache Storm and serverless systems, have also been proposed to manage this large volume of data and provide low-latency, real-time data processing. Beyond data processing, however, there are significant research challenges that need to be studied in order to achieve effective use of these systems. These challenges arise from the fact that each urban data source is governed by its own characteristics, such as sampling rate, data volume, data validity, etc. These challenges include, among others, analysing and modelling the behaviour of urban data in different contexts (during periods of normal city operation or during periods when different events occur in a city) and drawing meaningful conclusions from the data in order to enhance the sustainability of urban data. Finally, the challenge remains to bring out the maximum potential value of the data by using these models and inferences in applications and systems for smart cities. The aim of this thesis is to propose and practical methods to address the aforementioned issues. The first part of the thesis deals with the analysis and modelling of urban data by studying different sources of such data, either by examining the data unilaterally or by combining multiple data sources simultaneously. In this part of the thesis, in order to understand what smart city data actually represent, metrics and techniques are proposed that serve to model their behaviour based on their characteristics, and subsequently allow further combination of multiple urban data sources by creating synergies between them. On the other hand, this requires addressing characteristics such as, for example, data volume, temporal resolution and also data sampling rate. Considering these challenges, in the context of this thesis, in the first part a set of methodologies is proposed that allow smart city authorities and citizens to understand and capture the pulse of the urban environment in real time as well as to draw important conclusions from the data collected in it. The second part of the thesis focuses on the problem of exploiting the inferences derived from urban data as well as their modelling and aims to highlight their value in applications and systems using urban data. The problems studied in this part of the thesis, concerning the appropriate exploitation of inferences from data, are particularly challenging due to the heterogeneity of urban data sources, their different characteristics and the real-time response requirements imposed by the applications, making the development of applications and systems a challenge. In this part of the thesis, a set of new algorithms and related applications that exploit urban data analysis and modelling and the conclusions drawn through them are proposed to address real-world problems within a smart city, such as traffic congestion, enhancing alternative forms of mobility and reducing the environmental footprint of citizens, and ultimately improving the quality of life of its inhabitants and enhancing its sustainability. This part includes graph algorithms for resource allocation problems within transportation networks (with application to any resource allocation and reallocation problem that utilizes a transportation network), routing algorithms within graphs with dynamic weights (allowing the creation of paths adaptive to real-time data), and techniques involving data privacy from users of data analytics services.

Τα τελευταία χρόνια παρατηρούμε τόσο τη μεγάλη εξάπλωση των έξυπνων συσκευών στις καθημερινές συνήθειες και δραστηριότητες των ανθρώπων όσο και τη μεγάλη έλευση του Διαδικτύου των Πραγμάτων ως τη βάση πάνω στην οποία αναπτύσσονται πολυάριθμες έξυπνες εφαρμογές και υπηρεσίες με γνώμονα την επίλυση διαφόρων προβλημάτων μέσα στις πόλεις, από την παρακολούθηση της κυκλοφορίας, την παρακολούθηση της ρύπανσης και του θορύβου έως την υγειονομική περίθαλψη, τις υποδομές μεταφορών και την επεξεργασία χρηματοοικονομικών δεδομένων. Η πληθώρα των διαθέσιμων πηγών δεδομένων έχει προσφέρει μια σειρά σημαντικών επιλογών για την παρακολούθηση και την αξιολόγηση της κατάστασης μιας έξυπνης πόλης σε πραγματικό χρόνο. Έχουν επίσης προταθεί νέα κατανεμημένα συστήματα επεξεργασίας και ανάλυσης μεγάλων δεδομένων, όπως το Apache Hadoop, το Apache Storm και τα serverless συστήματα, προκειμένου να διαχειριστούν αυτόν τον μεγάλο όγκο δεδομένων και να παρέχουν επεξεργασία δεδομένων με χαμηλή καθυστέρηση και σε πραγματικό χρόνο. Πέρα από την επεξεργασία των δεδομένων, υπάρχουν ωστόσο σημαντικές ερευνητικές προκλήσεις οι οποίες πρέπει να μελετηθούν προκειμένου να επιτευχθεί η αποτελεσματική χρήση αυτών των συστημάτων. Οι προκλήσεις αυτές προκύπτουν από το γεγονός ότι κάθε πηγή αστικών δεδομένων διέπεται από τα δικά της χαρακτηριστικά, όπως ο ρυθμός δειγματοληψίας, ο όγκος των δεδομένων, η εγκυρότητα των δεδομένων κ.α.. Οι προκλήσεις αυτές περιλαμβάνουν, μεταξύ άλλων, την ανάλυση και τη μοντελοποίηση της συμπεριφοράς των αστικών δεδομένων σε διάφορα πλαίσια (σε περιόδους κανονικής λειτουργίας της πόλης ή σε περιόδους που συμβαίνουν διάφορα γεγονότα σε μια πόλη) και την εξαγωγή ουσιαστικών συμπερασμάτων από τα δεδομένα προκειμένου να ενισχυθεί η βιωσιμότητα του αστικού περιβάλλοντος και να μεγιστοποιηθούν τα οφέλη τόσο για τις αρχές της πόλης όσο και για τους πολίτες. Τέλος, παραμένει ως πρόκληση η ανάδειξη της μέγιστης δυνητικής αξίας των δεδομένων με την αξιοποίηση αυτών των μοντέλων και των συμπερασμάτων σε εφαρμογές και συστήματα για έξυπνες πόλεις. Σκοπός της παρούσας διατριβής είναι να προτείνει και πρακτικές μεθόδους για την αντιμετώπιση των προαναφερθέντων ζητημάτων. Το πρώτο μέρος της διατριβής ασχολείται με την ανάλυση και τη μοντελοποίηση των αστικών δεδομένων μελετώντας διάφορες πηγές τέτοιων δεδομένων, είτε εξετάζοντας τα δεδομένα μονομερώς είτε συνδυάζοντας πολλαπλές πηγές δεδομένων ταυτόχρονα. Σε αυτό το μέρος της διατριβής, προκειμένου να γίνει κατανοητό τι πραγματικά αντιπροσωπεύουν τα δεδομένα των έξυπνων πόλεων, προτείνονται μετρικές και τεχνικές που εξυπηρετούν την μοντελοποίηση της συμπεριφοράς τους βάσει των χαρακτηριστικών τους, και εν συνεχεία επιτρέπουν περαιτέρω συνδυασμό πολλαπλών πηγών αστικών δεδομένων δημιουργώντας συνέργειες μεταξύ τους. Από την άλλη πλευρά, αυτό απαιτεί την αντιμετώπιση χαρακτηριστικών όπως για παράδειγμα τον όγκο των δεδομένων, τη χρονική ανάλυση αλλά και το ρυθμό δειγματοληψίας των δεδομένων. Λαμβάνοντας υπόψη αυτές τις προκλήσεις, στο πλαίσιο της παρούσας διατριβής, στο πρώτο μέρος προτείνεται ένα σύνολο μεθοδολογιών που επιτρέπουν στις αρχές μιας έξυπνης πόλης και στους πολίτες να κατανοήσουν και να καταγράψουν τον παλμό του αστικού περιβάλλοντος σε πραγματικό χρόνο καθώς και να εξάγουν σημαντικά συμπεράσματα από τα δεδομένα που συλλέγονται σε αυτήν. Το δεύτερο μέρος της διατριβής επικεντρώνεται στο πρόβλημα της αξιοποίησης των συμπερασμάτων που έχουν προκύψει από τα αστικά δεδομένα καθώς και τη μοντελοποίησή τους και στοχεύει στο να αναδείξει την αξία τους σε εφαρμογές και συστήματα που χρησιμοποιούν αστικά δεδομένα. Τα προβλήματα που μελετώνται σε αυτό το μέρος της διατριβής, και αφορούν στην κατάλληλη αξιοποίηση των συμπερασμάτων από τα δεδομένα, είναι ιδιαίτερα απαιτητικά λόγω της ετερογένειας των πηγών αστικών δεδομένων, των διαφορετικών χαρακτηριστικών τους και των απαιτήσεων απόκρισης σε πραγματικό χρόνο που επιβάλλουν οι εφαρμογές, καθιστώντας την ανάπτυξη εφαρμογών και συστημάτων μια πρόκληση. Σε αυτό το μέρος της διατριβής, προτείνεται ένα σύνολο νέων αλγορίθμων και σχετικών εφαρμογών που αξιοποιούν την ανάλυση και τη μοντελοποίηση των αστικών δεδομένων καθώς και τα συμπεράσματα που έχουν προκύψει μέσω αυτών, με στόχο την αντιμετώπιση πραγματικών προβλημάτων μέσα σε μια έξυπνη πόλη, όπως την κυκλοφοριακή συμφόρηση, την ενίσχυση εναλλακτικών μορφών μετακίνησης και την μείωση του περιβαλλοντικού αποτυπώματος των πολιτών και εν τέλει τη βελτίωση της ποιότητας ζωή των κατοίκων της και την ενίσχυση της βιωσιμότητας της. Αυτό το μέρος της διατριβής περιλαμβάνει αλγορίθμους γράφων για προβλήματα εκχώρησης πόρων μέσα σε δίκτυα μεταφορών (με εφαρμογή σε οποιοδήποτε πρόβλημα εκχώρησης και αναδιανομής πόρων που αξιοποιεί ένα δίκτυο μεταφοράς), αλγορίθμους δρομολόγησης μέσα σε γράφους με δυναμικά βάρη (επιτρέποντας την δημιουργία μονοπατιών προσαρμοζόμενων σε δεδομένα πραγματικού χρόνου), καθώς και τεχνικές που αφορούν την ιδιωτικότητα των δεδομένων από χρήστες υπηρεσίων ανάλυσης δεδομένων.