Συντάχθηκε 23-06-2025 09:18
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 25/06/2025 12:00
Λήξη: 25/06/2025 13:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Γεωργίου Βαλαβάνη
με θέμα
Βελτιστοποίηση Υπερπαραμέτρων Μοντέλων Μηχανικής Μάθησης σε Περιβάλλον Federated Learning
Machine Learning Model Hyperparameter Fine-tuning in Federated Learning Environment
Εξεταστική Επιτροπή
Καθηγητής Σωτήριος Ιωαννίδης (επιβλέπων)
Καθηγητής Θρασύβουλος Σπυρόπουλος
Καθηγητής Μιχαήλ Λαγουδάκης
Περίληψη
Το Federated Learning (FL) έχει αναδειχθεί ως μια μέθοδος εκπαίδευσης Machine Learning (ML) μοντέλων σε αποκεντρωμένα δεδομένα, που διατηρεί την ιδιωτικότητα και την ασφάλεια. Ωστόσο, παρά τα πλεονεκτήματά του, το hyperparameter fine-tuning παραμένει μια κρίσιμη πρόκληση σε περιβάλλοντα FL λόγω της ετερογένειας των δεδομένων, των περιορισμών επικοινωνίας και της ανάγκης για ασφαλή συνεργασία. Σε αυτή τη διπλωματική εργασία θα αντιμετωπιστεί το πρόβλημα του αποδοτικού και ασφαλούς hyperparameter fine-tuning σε περιβάλλον FL. Προτείνεται ένα framework στο οποίο οι clients συνεργάζονται για να εξερευνήσουν συνδυασμούς υπερπαραμέτρων χρησιμοποιώντας τα τοπικά τους δεδομένα. Στη συνέχεια, αφού βρεθούν οι βέλτιστες υπερπαράμετροι, πραγματοποιείται μια σειρά από secure aggregation γύρους στο server. Οι clients αξιοποιούν το stratified k-fold cross validation για την τοπική αξιολόγηση των συνδυασμών υπερπαραμέτρων, την κρυπτογραφημένη επικοινωνία για την προστασία των updates του μοντέλου και το weighted aggregation για την δημιουργία του global model. Το υλοποιημένο framework υποστηρίζει διάφορους classifiers όπως Support Vector Machines και Gaussian Naive Bayes, προσφέροντας εκτεταμένες δυνατότητες. Επιπλέον, για να διασφαλιστεί η ιδιωτικότητα των δεδομένων, παρέχεται symmetric και asymmetric encryption στην επικοινωνία μεταξύ clients και server. Τα πειραματικά αποτελέσματα αποδεικνύουν την αποτελεσματικότητα αυτής της προσέγγισης στην επίτευξη παρόμοιων F1 scores με μια μη federated προσέγγιση, διατηρώντας παράλληλα την επεκτασιμότητα και την ασφάλεια. Η παρούσα εργασία συνεισφέρει μια πρακτική μεθοδολογία για το hyperparameter fine-tuning στο FL, εξισορροπώντας την απόδοση και την ιδιωτικότητα.
Abstract
Federated Learning (FL) has emerged as a paradigm for training machine learning models on decentralized data while preserving privacy. Despite its advantages, the process of hyperparameter fine-tuning remains a critical challenge within FL settings, primarily due to data heterogeneity, communication constraints, and the need for secure collaboration. This thesis addresses the problem of efficient and privacy-preserving hyperparameter fine-tuning in FL environments by providing a framework that utilizes federated hyperparameter fine-tuning. Here, clients collaboratively explore hyperparameter configurations using local data. Then, after the optimal hyperparameters are found, a series of secure aggregation rounds takes place at the server. Our system leverages stratified k-fold cross-validation on clients to evaluate hyperparameter combinations locally, encrypted communication to protect model updates, and weighted aggregation to harmonize global model performance. Various classifiers are supported, such as Support Vector Machines and Gaussian Naive Bayes, providing extended implementation capabilities. Additionally, to ensure data privacy, our framework provides symmetric and asymmetric encryption for the client-server communication. Experimental results demonstrate the efficacy of the approach in achieving similar F1 scores to a non-federated approach while maintaining scalability and security. This work contributes a practical methodology for hyperparameter fine-tuning in FL, balancing performance and privacy.
