Συντάχθηκε 31-08-2026 11:09
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 03/09/2026 11:00
Λήξη: 03/09/2026 12:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Δάφνης Παπαδάκη
με θέμα
Σύγκριση Τεχνικών Ομοσπονδιακής Μάθησης στο PyTorch
A Comparison of Federated Learning Techniques at PyTorch
Εξεταστική Επιτροπή
Καθηγητής Αντώνιος Δεληγιαννάκης (επιβλέπων, ΗΜΜΥ)
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς (ΗΜΜΥ)
Καθηγητής Μίνως Γαροφαλάκης (ΗΜΜΥ)
Περίληψη
Παραδοσιακά, στο Machine Learning, όλα τα raw data των clients στέλνονται σε έναν κεντρικό server με σκοπό την εκπαίδευση του μοντέλου. Η μεταφορά των δεδομένων των πελατών σε έναν server δεν είναι μόνο ακριβή από άποψη επικοινωνίας, αλλά δημιουργεί επίσης σοβαρούς κινδύνους για την ιδιωτικότητα και την ασφάλεια. Το πρόβλημα αυτό είναι ιδιαίτερα σημαντικό σε τομείς όπως η υγεία, τα χρηματοοικονομικά και οι φορητές συσκευές. Η Ομοσπονδιακή Μάθηση (Federated Learning) αντιμετωπίζει αυτό το πρόβλημα και διασφαλίζει ότι τα προσωπικά και ευαίσθητα δεδομένα παραμένουν στη συσκευή κάθε πελάτη. Αντί να στέλνονται τα raw data, οι clients συνεργάζονται για την εκπαίδευση ενός κοινού μοντέλου, αποστέλλοντας στον server μόνο τις παραμέτρους του μοντέλου ή άλλες απαραίτητες πληροφορίες απαραίτητες για τον αλγόριθμο. Με αυτόν τον τρόπο, η Ομοσπονδιακή Μάθηση επιτρέπει την αποκεντρωμένη εκπαίδευση μοντέλων, μειώνοντας παράλληλα το επικοινωνιακό κόστος και προστατεύοντας την ιδιωτικότητα των δεδομένων.
Ωστόσο, το πλαίσιο αυτό εισάγει ορισμένες βασικές προκλήσεις, όπως η ετερογένεια των δεδομένων μεταξύ των πελατών, οι διαφορές στο hardware των συσκευών τους, οι ασταθείς συνδέσεις δικτύου και τα διαφορετικά επίπεδα συμμετοχής των πελατών. Έχει προταθεί ένα ευρύ φάσμα αλγορίθμων, καθένας από τους οποίους στοχεύει στην αντιμετώπιση διαφορετικών προκλήσεων. Ωστόσο, έχει αποδειχθεί δύσκολο να προσδιοριστεί ποια μέθοδος είναι η βέλτιστη, καθώς οι υπάρχοντες αλγόριθμοι συχνά αξιολογούνται κάτω από διαφορετικές πειραματικές συνθήκες και με διαφορετικούς στόχους. Για τον λόγο αυτό, είναι απαραίτητη η δημιουργία ενός κοινού πειραματικού πλαισίου για τη σύγκριση αυτών των μεθόδων, ώστε να μπορούν να εξαχθούν αντικειμενικά και αξιόπιστα συμπεράσματα σχετικά με την απόδοσή τους.
Η παρούσα διπλωματική εργασία αξιολογεί διάφορους αλγορίθμους βελτιστοποίησης Ομοσπονδιακής Μάθησης κάτω από διαφορετικά σενάρια. Οι μέθοδοι που μελετώνται είναι οι FedAvg, FedProx, SCAFFOLD, FedAdam και FDA-OPT. Όλες οι μέθοδοι υλοποιούνται σε Python και αξιολογούνται σε τρία datasets, τα MNIST, EMNIST και CIFAR-10, και σε τέσσερις αρχιτεκτονικές μοντέλων: Logistic Regression, LeNet-5, CNN και ResNet-18. Το performance αξιολογείται με βάση τρια metrics: τον αριθμό γύρων επικοινωνίας, τον χρόνο εκπαίδευσης και το επικοινωνιακό κόστος που απαιτείται για την επίτευξη μιας επιθυμητής ακρίβειας.
Τα αποτελέσματα δεν αναδεικνύουν μία συγκεκριμένη μέθοδο ως ανώτερη από τις υπόλοιπες και στα τρια metrics. Ο FDA-OPT επιτυγχάνει γενικά το χαμηλότερο επικοινωνιακό κόστος, ενώ ο FedAdam συγκλίνει ταχύτερα ως προς τον χρόνο εκπαίδευσης. Ο SCAFFOLD, παρά τις ισχυρές θεωρητικές του εγγυήσεις, δυσκολεύεται να επιτύχει υψηλές τιμές ακρίβειας και συνοδεύεται από σημαντική επικοινωνιακή επιβάρυνση. Ο FedProx περιορίζει το φαινόμενο client drift σε ορισμένες περιπτώσεις, ενώ σε άλλες παρουσιάζει παρόμοια απόδοση με τον FedAvg. Συνολικά, τα αποτελέσματα δείχνουν ότι η Ομοσπονδιακή Μάθηση περιλαμβάνει έναν συμβιβασμό μεταξύ ταχύτητας, σταθερότητας και επικοινωνιακής αποδοτικότητας.
Abstract
Traditionally in machine learning all the raw data from the clients is sent to a central server in order to train the model. Transferring the clients’ data to a server is not only expensive communication-wise, but it also creates serious privacy and security risks. This problem is especially important in sectors such as healthcare, finance, and mobile computing. Federated Learning (FL) addresses this problem and ensures that personal and sensitive data remain on each client’s device. Instead of sharing the raw data, clients collaboratively train a global model by sending only model parameters, or other necessary optimization information, to the server. That way, Federated Learning enables decentralized model training while reducing communication overhead and preserving data privacy. However, this framework introduces some key challenges, such as data heterogeneity across clients, difference in hardware on clients’ devices, unstable network connection and varying levels of client participation. A wide range of algorithms has been proposed, each aiming to address the different challenges and improve the optimization process. It has proved difficult to determine which method is the most optimal, since existing algorithms are often evaluated under different experimental settings, with different targets each time. For this reason, it’s necessary to create a common experimental framework and compare the popular methods. That way, objective and reliable conclusions about their performance can be drawn. This thesis evaluates several federated optimization algorithms under different scenarios. The methods studied include FedAvg, FedProx, SCAFFOLD, FedAdam and FDA-OPT. All methods are implemented in Python and are evaluated across 3 datasets (MNIST and EMNIST, CIFAR-10) and 4 model architectures (Logistic Regression, LeNet-5, and a custom CNN, ResNET-18). The performance is assessed under 3 metrics: communication rounds, training time, and communication cost that was required to reach a target accuracy. The results do not single out one specific method as consistently superior to the rest across all three metrics. FDA-OPT achieves generally the lowest communication cost , while FedAdam converges fastest in terms of training time. SCAFFOLD, in spite of its strong theoretical guarantees, struggles to reach the high accuracies and introduces significant communication overhead. FedProx alleviates client drift in some cases, while in others has identical perfomance with FedAvg. Overall, these findings showcase that Federated Learning involves a trade-off between speed, stability, and communication efficiency.
