Study and optimization of distributed deep learning under the parameter server architecture

Abstract

Deep learning has transformed numerous fields by leveraging vast datasets and complex neural architectures, but the computational demands of modern models often exceed single-node capabilities, prompting distributed training solutions. This thesis investigates asynchronous training under the parameter server paradigm, focusing on enhancing both performance and stability. First, a thorough comparative analysis demonstrates that specialized distributed architectures deliver substantially higher throughput than general-purpose data-processing frameworks at large scales. Following a systematic literature review, consistency control and the mitigation of stale gradients as pivotal challenges in asynchronous setups are identified. To address these, a hybrid Strategy-Switch approach is introduced that begins with synchronous communication to identify a promising solution region before transitioning to asynchronous updates based on an empirically derived switching criterion, achieving both rapid convergence and model accuracy. Building on these insights, offline data-sharding techniques are then proposed, designed to preemptively balance sample distributions across workers, thereby reducing gradient variance and improving training consistency. Experimental results show that the proposed data distribution strategies decrease variability in training and validation metrics by up to eightfold and twofold, respectively, compared to random assignment. Collectively, these contributions advance asynchronous distributed deep learning by offering concrete methods to reconcile speed and stability, supporting more scalable and reliable large-scale neural network training.

Οι μέθοδοι βαθιάς μάθησης έχουν μεταμορφώσει πλήθος τομέων αξιοποιώντας μεγάλες ποσότητες δεδομένων και πολύπλοκες αρχιτεκτονικές νευρωνικών δικτύων. Παράλληλα οι υπολογιστικές απαιτήσεις των σύγχρονων μοντέλων συχνά υπερβαίνουν τις δυνατότητες ενός μόνο υπολογιστή, οδηγώντας σε ανάγκη για κατανεμημένη εκπαίδευση. Στην παρούσα διατριβή εξετάζουμε την ασύγχρονη εκπαίδευση υπό το πρίσμα της αρχιτεκτονικής του διακομιστή παραμέτρων, με έμφαση στη βελτίωση της απόδοσης και της σταθερότητας. Καταρχήν, μέσω μίας συγκριτική αξιολόγησης στα πλαίσια της διατριβής αποδεικνύεται ότι η αρχιτεκτονική του εξυπηρετητή παραμέτρων προσφέρει σημαντικά υψηλότερη απόδοση στα πλαίσια εκπαίδευσης νευρωνικών δικτύων σε σχέση με γενικού σκοπού αρχιτεκτονικές επεξεργασίας μεγάλων δεδομένων σε κατανεμημένα περιβάλλοντα. Μέσω συστηματικής βιβλιογραφικής ανασκόπησης γίνεται παρουσιάση των ερευνητικών αξόνων που σχετίζονται με την αρχιτεκτονική του εξυπηρετητή παραμέτρων. Ένας από τους πιο κρίσιμους άξονες έρευνας αποτελεί ο έλεγχος της συνέπειας και το πρόβλημα των παλιών διανυσμάτων κλίσης σε χαλαρότερα μοντέλα συγχρονισμού. Για την αντιμετώπιση αυτών, προτείνεται η υβριδική μέθοδος εκπαίδευσης Εναλλαγής - Στρατηγικής (Strategy-Switch), η οποία ξεκινά με σύγχρονη επικοινωνία και στη συνέχεια μεταβαίνει σε ασύγχρονη εκπαίδευση βάσει εμπειρικού κριτηρίου μετάβασης, επιτυγχάνοντας ταχεία σύγκλιση και ακρίβεια μοντέλου. Επιπλέον, προτείνουμε τεχνικές εκ των προτέρων κατανομής δεδομένων που στοχεύουν στην ισορροπία της διανομής των δειγμάτων μεταξύ των εργαζομένων μηχανημάτων που συμμετέχουν στην εκπαίδευση, με αποτέλεσμα τη βελτίωση της συνέπειας της εκπαίδευσης χωρίς την ύπαρξη συγχρονισμού. Τα πειραματικά αποτελέσματα δείχνουν μείωση της μεταβλητότητας στα μετρικά εκπαίδευσης και αξιολόγησης έως 8 φορές και 2 φορές αντίστοιχα σε σύγκριση με την τυχαία κατανομή δεδομένων. Συνολικά, οι προτεινόμενες μέθοδοι ενισχύουν την ασύγχρονη κατανεμημένη εκπαίδευση βαθιάς μάθησης, προσφέροντας πρακτικές λύσεις που συνδυάζουν ταχύτητα και σταθερότητα για πιο κλιμακούμενη και αξιόπιστη εκπαίδευση μεγάλων νευρωνικών δικτύων.