Συντάχθηκε 19-10-2026 09:58
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 141Π-36,141Π-37
Έναρξη: 21/10/2026 09:30
Λήξη: 21/10/2026 10:30
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Δημητρίου Αλευράκη
με θέμα
Κατανεμημένη Βελτιστοποίηση για Μηχανική Μάθηση και Εφαρμογές της
Distributed Optimization for Machine Learning and its Applications
Εξεταστική Επιτροπή
Καθηγητής Αθανάσιος Λιάβας (Σχολή ΗΜΜΥ, Επιβλέπων)
Καθηγητής Γεώργιος Καρυστινός (Σχολή ΗΜΜΥ)
Καθηγητής Διονύσιος Χριστόπουλος (Σχολή ΗΜΜΥ)
Περίληψη
Οι κινητές συσκευές παρέχουν πρόσβαση σε πληθώρα δεδομένων, συμπεριλαμβανομένων δεικτών υγείας, χρήσης γλώσσας, πληροφοριών τοποθεσίας και κοινωνικών αλληλεπιδράσεων. Τα δεδομένα αυτά μπορούν να χρησιμοποιηθούν για την εκπαίδευση μοντέλων μηχανικής μάθησης (ML) σε διάφορες εφαρμογές, όπως η πρόβλεψη κειμένου κατά την εισαγωγή ή η παρακολούθηση υγείας. Ωστόσο, τα δεδομένα αυτά είναι συνήθως ευαίσθητα και προσωπικά. Για αυτό τον λόγο, η Ομοσπονδιακή Μάθηση (Federated Learning, FL) αναδείχθηκε ως ένας τρόπος για την εκπαίδευση μοντέλων μηχανικής μάθησης με κατανεμημένο τρόπο, χωρίς την ανταλλαγή ακατέργαστων δεδομένων. Το πλαίσιο FL επιτρέπει την εκπαίδευση ενός κοινού μοντέλου, πραγματοποιώντας τοπικές ενημερώσεις στις συσκευές στις οποίες ανήκουν τα δεδομένα και, στη συνέχεια, συγκεντρώνοντας τα τοπικά μοντέλα σε ένα κεντρικό διακομιστή.
Συγκρίνουμε τρεις διαφορετικές μεθόδους FL, Federated Averaging (FedAvg), Federated Stochastic Gradient Descent (FedSGD) και Federated Gradient (FedGrad), με μία κεντρική μέθοδο βελτιστοποίησης, τη Stochastic Gradient Descent (SGD) σε τρία πραγματικά σύνολα δεδομένων αυξανόμενης πολυπλοκότητας. Η αξιολόγιση βασίζεται στην ταχύτητα με την οποία η αντικειμενική συνάρτηση συγκλίνει προς τη βέλτιστη τιμή που προκύπτει από την κεντρική μέθοδο αναφοράς, καθώς και στην ακρίβεια ταξινόμησης στα σύνολα δοκιμής. Εξετάζουμε επίσης τις επιδράσεις του ρυθμού εκμάθησης, του μεγέθους παρτίδας, των τοπικών εποχών (epochs) και των αριθμό των πελατών που συμμετέχουν στο στάδιο της εκμάθησης.
Δοκιμάσαμε τρεις ρυθμούς εκμάθησης, δύο φθίνοντες και ένα σταθερό. Διαπιστώσαμε ότι ο κανονικοποιημένος ως προς τη νόρμα της κλίσης ρυθμός παρέχει ταχύτερη και σταθερότερη σύγκλιση στα πειράματα μας. Οι μέθοδοι FedSGD και FedGrad είναι οι απλόυστερες. Αν και συγκλίνουν προς τη βέλτιστη τιμή, το κάνουν με σημαντικά βραδύτερο ρυθμό σε σύγκριση με τη FedAvg, η οποία αποτελεί και το κύριο αντίκειμενο της παρούσας εργασίας. Η FedAvg αποτελεί μία πιο ευέλικτη προσέγγιση και γενικά συγκλίνει ταχύτερα καθώς αυξάνεται ο αριθμός των τοπικών epochs. Είναι ενδιαφέρον ότι διαπιστώσαμε ότι ένας χαμηλός λόγος συμμετοχής πελατών δεν επηρεάζει την ταχύτητα σύγκλισης ή την ακρίβεια. Τέλος, δείχνουμε ότι τα μη ανεξάρτητα και μη όμοια κατανεμημένα δεδομένα (non-IID) μεταξύ των πελατών επιβραδίνουν τη σύγκλιση, αλλά δεν προκαλούν την αποτυχία των μοντέλων μας.
Σε πραγματικές εφαρμογές FL, το κόστος επικοινωνίας αποτελεί συνήθως το κύριο εμπόδιο. Εδώ, δείχνουμε ότι η μέθοδος FedAvg είναι μία ανθεκτική και αποδοτική μέθοδος σε σύγκριση με τις κεντρικές μεθόδους και παρουσιάζουμε πώς μπορούν να ρυθμιστούν οι υπερπαράμετροι, ώστε να ελαχιστοποιηθεί ο αριθμός των γύρων επικοινωνίας.
Abstract
Mobile devices provide a wealth of data, including health metrics, language usage, location information, and social interactions. This data can be used to train machine learning (ML) models for various applications, such as predictive text input or health monitoring. However, this data is usually sensitive and personal. For this reason, federated learning (FL) emerged as an approach to training ML models in a distributed manner without sharing raw data. The FL framework enables the training of a global model by performing local updates on devices that hold the data and then aggregating the local models on a central server.
We compare three different FL methods, Federated Averaging (FedAvg), Federated Stochastic Gradient Descent(FedSGD), and Federated Gradient (FedGrad)—with a centralized stochastic gradient descent (SGD) optimization method on three real-world datasets of increasing complexity. The evaluation is based on the speed at which the objective function converges to the optimal value obtained by the centralized baseline, as well as test accuracy. We also explore the effects of the learning rate, batch size, number of local epochs, and number of clients participating in the averaging step.
We tested three different step-size schedules, two diminishing and one constant, and found that the gradient normalized diminishing step-size rule provides faster and more stable convergence in our experiments. FedSGD and FedGrad are the simplest and most straightforward methods. Although they converge to the optimal value, they do so at a significantly slower rate than FedAvg, which is the main focus of this work. FedAvg is a more tunable approach and generally converged faster as the number of local epochs increased. Interestingly, we found that a low client participation ratio does not affect convergence speed or accuracy. Finally, we show that non-IID data distributions among clients slow down convergence but do not cause our models to fail.
In real-world FL applications, communication cost is usually the main bottleneck. Here, we show
that FedAvg is a robust and efficient method compared with centralized methods and demonstrate
how its hyperparameters can be tuned to minimize the number of communication rounds.
