Τεχνικές εισόδου-εξόδου και χρονοδρομολόγησης για την αποδοτική χρήση μοιραζόμενων αρχιτεκτονικών πόρων σε συστοιχίες κόμβων συμμετρικής πολυεπεξεργασίας

Abstract

Clusters have become prevalent as a cost-effective solution for building scalable parallel platforms to power diverse workloads. Symmetric multiprocessors of multicore chips are commonly used as building blocks for clustered systems, when combined with high performance interconnection networks, such as Myrinet. The increasing use of clusters for data-intensive workloads, in combination with the trend for ever-increasing cores per processor die, poses significant load on the I/O subsystem. Thus, its performance becomes decisive in determining overall system throughput. To meet the challenge, we need low-overhead mechanisms for transporting large datasets efficiently between compute cores and storage devices. In the case of SMP systems, this means reduced CPU, memory bus and peripheral bus contention. This work explores the implications of resource contention in SMP nodes used as commodity storage servers. We study data movement in a block-level storage sharing system over Myrinet and find its performance suffers due to memory and peripheral bus saturation. To alleviate the problem, we propose techniques for building efficient data paths between the storage and the network on the server side, and the network and processing cores on the client side. We present gmblock, a system for shared block storage over Myrinet which supports a direct disk-to-NIC server-side data path, bypassing the host CPU and memory bus. To improve handling of large requests and support intra-request overlapping of network- and disk-I/O with minimal host CPU involvement, we introduce synchronized send operations as extensions to standard Myrinet/GM sends; their semantics support synchronization with an agent external to the NIC, e.g., a storage controller utilizing the direct-to-NIC data path. On the client side, the proposed system exploits NIC programmability to support protected direct placement of incoming fragments into buffers dispersed in physical memory. This enables end-to-end zero-copy block transfers directly from remote storage to client memory over the peripheral bus and cluster interconnect. Experimental evaluation of the proposed techniques demonstrates significant increases in remote I/O rate and reduced interference with server-side local computation. A prototype deployment of the OCFS2 shared-disk filesystem over gmblock shows gains for various application benchmarks, provided I/O scheduling can eliminate the disk bottleneck due to concurrent access.

Η αυξανόμενη χρήση των συστοιχιών (clusters) για εφαρμογές απαιτητικές σε δεδομένα, σε συνδυασμό με την τάση για περισσότερους υπολογιστικούς πυρήνες ανά επεξεργαστή, αυξάνει τον φόρτο του υποσυστήματος Εισόδου/Εξόδου. Χρειαζόμαστε μηχανισμούς χαμηλής επιβάρυνσης για την αποδοτική μετακίνηση μεγάλων συνόλων δεδομένων ανάμεσα σε υπολογιστικούς πυρήνες και αποθηκευτικά μέσα. Η παρούσα διατριβή εξερευνά τις επιπτώσεις του ανταγωνισμού για μοιραζόμενους πόρους σε εξυπηρετητές αποθήκευσης. Μελετάμε την κίνηση των δεδομένων σε σύστημα μοιραζόμενης πρόσβασης επιπέδου μπλοκ πάνω από Myrinet και βρίσκουμε ότι ο κορεσμός του διαδρόμου κύριας μνήμης και του περιφερειακού διαδρόμου επιβαρύνει σημαντικά τη λειτουργία του. Για την αντιμετώπιση του προβλήματος, προτείνουμε τεχνικές για την κατασκευή αποδοτικών μονοπατιών δεδομένων ανάμεσα σε αποθηκευτικά μέσα και το δίκτυο, στην πλευρά του εξυπηρετητή, και το δίκτυο και τους υπολογιστικούς πυρήνες, στην πλευρά των πελατών. Παρουσιάζουμε το gmblock, ένα σύστημα μοιραζόμενης πρόσβασης επιπέδου μπλοκ το οποίο υποστηρίζει απευθείας μονοπάτι δεδομένων από το δίσκο σε προσαρμογέα Myrinet, παρακάμπτοντας τον επεξεργαστή και το διάδρομο μνήμης. Για βελτιωμένη υποστήριξη αιτήσεων μεγάλου μήκους και υποστήριξη επικάλυψης των φάσεων ανάγνωσης και δικτυακής αποστολής με ελάχιστη εμπλοκή της CPU, εισάγουμε συγχρονισμένες λειτουργίες αποστολής ως επεκτάσεις στο Myrinet/GM. Η σημασιολογία τους επιτρέπει συγχρονισμό της κάρτας δικτύου με εξωτερικό παράγοντα, π.χ. έναν ελεγκτή αποθήκευσης που χρησιμοποιεί το άμεσο μονοπάτι. Στην πλευρά του πελάτη, το προτεινόμενο σύστημα εκμεταλλεύεται την προγραμματισιμότητα της κάρτας δικτύου για να υποστηρίξει άμεση τοποθέτηση εισερχόμενων τεμαχίων δεδομένων σε απομονωτές διάσπαρτους στη φυσική μνήμη. Η σχεδίαση αυτή καθιστά δυνατή την κίνηση μπλοκ από άκρο σε άκρο χωρίς αντίγραφα, απευθείας από απομακρυσμένο αποθηκευτικό μέσο στο δίκτυο και τελικά στη μνήμη του πελάτη. Η πειραματική αποτίμηση των προτεινόμενων τεχνικών δείχνει σημαντική αύξηση του ρυθμού απομακρυσμένης Ε/Ε και μειωμένη παρεμβολή στον τοπικό υπολογισμό στην πλευρά του εξυπηρετητή. Από την εκτέλεση διαφόρων μετροπρογραμμάτων σε εγκατάσταση του παράλληλου συστήματος αρχείων OCFS2 πάνω από το gmblock προκύπτει βελτίωση της απόδοσης του συστήματος, με την προϋπόθεση ότι η χρονοδρομολόγηση Ε/Ε στην πλευρά του εξυπηρετητή εξαλείφει τη στενωπό στους δίσκους λόγω ταυτόχρονης πρόσβασης από πολλούς πελάτες