Συντάχθηκε 06-06-2025 08:16
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 145Π-58
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 11/06/2025 11:00
Λήξη: 11/06/2025 12:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Μεταπτυχιακών (Διδακτορικών) Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ
ΜΙΧΑΗΛ ΘΕΟΛΟΓΙΤΗ
με θέμα
Αποτελεσματικοί σε Επικοινωνία Αλγόριθμοι Βαθιάς Μάθησης μέσω Δυναμικού Μέσου Όρου
Communication-Efficient Federated Deep Learning via Dynamic Averaging
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς (επιβλέπων)
Καθηγητής Αντώνιος Δεληγιαννάκης
Επίκουρος Καθηγητής Νικόλαος Γιατράκος
Περίληψη
Ο συνεχώς αυξανόμενος όγκος και η αποκεντρωμένη φύση των δεδομένων έχουν οδηγήσει στην εκτεταμένη χρήση της κατανεμημένης βαθιάς μάθησης (DDL) και της Ομοσπονδιακής Μάθησης (FL), οι οποίες αντιμετωπίζουν δυσκολίες λόγω του υψηλού κόστους μετάδοσης μεγάλων μοντέλων. Οι πιο σύγχρονες τεχνικές συνήθως επιβάλλουν αυστηρά διαστήματα επικοινωνίας με αυθαίρετο και μη τεκμηριωμένο τρόπο. Επιπλέον, τα σύγχρονα μοντέλα γλώσσας και όρασης αυξάνονται ραγδαία σε μέγεθος. Αυτοί οι περιορισμοί καθιστούν αναγκαία μια πιο τεκμηριωμένη και προσαρμοστική προσέγγιση στον συγχρονισμό. Για να αντιμετωπίσουμε αυτή την πρόκληση, προτείνουμε τον αλγόριθμο Ομοσπονδιακού Μέσου Όρου (FDA), μια αποδοτική σε επικοινωνία στρατηγική που πυροδοτεί τον συγχρονισμό με βάση τις πραγματικές συνθήκες της εκπαίδευσης, παρακολουθώντας τη διακύμανση των μοντέλων. Τα πειράματά μας με γνωστά vision models και tasks δείχνουν ότι το FDA μειώνει σημαντικά το κόστος επικοινωνίας, διατηρώντας ταυτόχρονα υψηλή απόδοση σε συνθήκες με ετερογένεια. Με βάση αυτά τα αποτελέσματα, προτείνουμε επίσης την οικογένεια αλγορίθμων FDA-Opt—μια ενοποιημένη γενίκευση τόσο της FDA όσο και του ευρέως χρησιμοποιούμενου FedOpt—σχεδιασμένη να λειτουργεί κατευθείαν, χωρίς ανάγκη επιπλέον παραμετροποίησης. Τα πειράματά μας επικεντρώνονται στη βελτιστοποίηση προ-εκπαιδευμένων Γλωσσικών Μοντέλων (LM) σε tasks Natural Language Processing (NLP) τα οποία αποδεικνύουν ότι το FDA-Opt υπερτερεί του FedOpt, ακόμη και όταν ο αλγόριθμός μας έχει ρυθμιστεί με hyper-parameters βελτιστοποιημένες για το τελευταίο. Αυτά τα αποτελέσματα καθιστούν το FDA-Opt μια καλύτερη, πρακτική και άμεση εναλλακτική λύση του FedOpt για σύγχρονες FL βιβλιοθήκες και συστήματα.
Abstract
The ever-growing volume and decentralized nature of data have led to the extensive use of distributed deep learning (DDL) and Federated Learning (FL), both of which struggle with the high cost of transmitting large models. State-of-the-art techniques typically prescribe rigid communication intervals in arbitrary and non-principled ways. To make matters worse, modern language and vision models are rapidly increasing in size. These limitations call for a more principled, adaptive approach to synchronization. To address this, we propose Federated Dynamic Averaging (FDA), a communication-efficient strategy that dynamically triggers synchronization based on real-time training dynamics by monitoring model variance. Our experiments with well-established vision models and tasks show that FDA significantly reduces communication costs while maintaining robust performance across diverse heterogeneity settings. Building on these insights, we also introduce the FDA-Opt family of algorithms—a unified generalization of both FDA and the widely used FedOpt—designed to work out of the box without any calibration. Our experiments focus on fine-tuning pre-trained Language Models (LMs) to downstream NLP tasks and demonstrate that FDA-Opt consistently outperforms FedOpt, even when configured with hyper-parameters optimized for the latter. These results establish FDA-Opt as a practical, drop-in replacement for FedOpt in modern FL libraries and systems.
Meeting ID: 821 3510 3994
Password: 126761
