Συντάχθηκε 17-07-2026 14:42
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 17/07/2026 18:00
Λήξη: 17/07/2026 19:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Ευαγγέλου Νικολόπουλου
με θέμα
Πρωτόκολλα Συγχρονισμού βάσει Δεδομένων για Παραλληλία Μοντέλου στη Νευρωνική Μάθηση πάνω σε Ροές Δεδομένων
Data-Driven Synchronization Protocols for Model-Parallel Neural Learning
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Νικόλαος Γιατράκος (επιβλέπων)
Καθηγητής Αντώνιος Δεληγιαννάκης
Καθηγητής Μιχαήλ Γ. Λαγουδάκης
Περίληψη
Η διαρκώς αυξανόμενη κλίμακα των αρχιτεκτονικών νευρωνικών δικτύων, καθώς και ο όγκος των δεδομένων που απαιτείται για την εκπαίδευσή τους, έχουν καταστήσει την εκπαίδευση σε μία μόνο συσκευή ολοένα και πιο ανέφικτη, επιβάλλοντας την υιοθέτηση κατανεμημένων στρατηγικών για την κάλυψη των κλιμακούμενων υπολογιστικών απαιτήσεων. Μεταξύ αυτών, οι προσεγγίσεις παραλληλισμού δεδομένων (data parallel) έχουν αναδειχθεί ως μια πρακτική λύση για τη διαχείριση μεγάλων συνόλων δεδομένων, αναπαράγοντας το μοντέλο σε πολλαπλούς κόμβους εργασίας (workers), εκπαιδεύοντας τον καθένα σε μια ξένη (disjoint) κατάτμηση των δεδομένων και συναθροίζοντας τις προκύπτουσες ενημερώσεις. Αν και αποτελεσματική για μοντέλα μέτριου μεγέθους, η προσέγγιση αυτή καθίσταται ακατάλληλη για μεγάλες αρχιτεκτονικές, όπου οι επιμέρους κόμβοι εργασίας δεν μπορούν να χωρέσουν ολόκληρο το μοντέλο στη διαθέσιμη μνήμη τους. Οι προσεγγίσεις παραλληλισμού μοντέλου (model parallel) αντιμετωπίζουν αυτόν τον περιορισμό κατανέμοντας τμήματα της αρχιτεκτονικής του μοντέλου στους κόμβους εργασίας. Ωστόσο, αυτό εισάγει τις δικές του προκλήσεις: την επιβάρυνση της επικοινωνίας μεταξύ των συσκευών που απαιτείται για την προώθηση των τανυστών, καθώς και την αύξηση του χρόνου εκπαίδευσης που προέρχεται από περιορισμούς σε επίπεδο πλαισίου (framework), όπως οι μεταφορές τανυστών από CPU σε GPU, η καθυστέρηση του δικτύου (network latency) και η σειριοποίηση και αποσειριοποίηση των τανυστών.
Η παρούσα διπλωματική εργασία εισάγει νέα πρωτόκολλα συγχρονισμού για την εκπαίδευση με παραλληλισμό μοντέλου, τα οποία αντιμετωπίζουν αυτές τις αναποτελεσματικότητες μέσω μιας σειράς αλγορίθμων παρακολούθησης και πρόβλεψης παραμέτρων. Παρακολουθώντας τοπικά το ιστορικό εκπαίδευσης κάθε κόμβου εργασίας, τα προτεινόμενα πρωτόκολλα επιτρέπουν την πρόβλεψη των μελλοντικών καταστάσεων των παραμέτρων, χωρίς να απαιτούνται πλήρη βήματα διαδικτυακής (online) εκπαίδευσης. Τα μοντέλα πρόβλεψης επιλέχθηκαν σκόπιμα ώστε να αποφεύγονται δαπανηροί υπολογισμοί, όπως η παραγώγιση (gradient derivation), διασφαλίζοντας ότι η επιβάρυνση που εισάγει η διαδικασία πρόβλεψης δεν επηρεάζει αρνητικά την ακρίβεια του μοντέλου.
Η πειραματική μας αξιολόγηση δείχνει ότι τα νέα πρωτόκολλα συγχρονισμού μπορούν να προσφέρουν έως και 27 φορές μειωμένη επικοινωνία και 5 φορές επιτάχυνση του χρόνου εκπαίδευσης, με μόλις 10% πτώση της ακρίβειας σε σύγκριση με τις απλές (vanilla) εναλλακτικές παραλληλισμού μοντέλου.
Abstract
The growing scale of neural network architectures, and the data volumes required to train them, have made single-device training increasingly unfeasible, compelling the adoption of distributed strategies to meet escalating computational demands. Among these, data parallel approaches have emerged as a practical solution for handling large datasets by replicating the model across multiple workers, training each on a disjoint partition of the data, and aggregating the resulting updates. While effective for mod- erately sized models, this approach becomes unsuitable for large architectures where individual workers cannot accommodate the full model within their available memory. Model parallel approaches address this constraint by distributing portions of the model architecture across workers. However, this introduces its own challenges: inter-device communication overhead required for tensor forwarding, and increased training time stemming from framework-level limitations such as CPU-to-GPU tensor transfers, network latency, and tensor serialization and deserialization. This thesis introduces novel synchronization protocols for model parallel training that address these inefficiencies through a suite of parameter monitoring and prediction algorithms. By locally tracking each worker’s past training history, the proposed protocols enable predictions of future parameter states without requiring full online training steps. The prediction models were deliberately chosen to avoid computationally expensive operations such as gradient derivation, ensuring that the overhead introduced by the prediction process does not offset the efficiency gains achieved.
Our experimental evaluation shows that our novel synchronization protocols can provide up to 27 times reduced communication, 5 times training time speed up with only 10% accuracy drop compared to vanilla model parallel alternatives.
