Συντάχθηκε 21-04-2026 14:06
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 141Π-36,141Π-37
Έναρξη: 22/04/2026 14:00
Λήξη: 22/04/2026 15:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Μαρίας Νικολούδη
με θέμα
Διατήρηση Απορρήτου σε Ομοσπονδιακή Μάθηση
Privacy Preservation in Federated Learning
Εξεταστική Επιτροπή
Καθηγητής Αθανάσιος Λιάβας (Επιβλέπων)
Καθηγητής Γεώργιος Καρυστινός
Καθηγητής Μηχαήλ Λαγουδάκης
Περίληψη
Η διαδεδομένη χρήση τεχνικών μηχανικής μάθησης σε διάφορους τομείς έχει εγείρει σοβαρές ανησυχίες σχετικά με την ιδιωτικότητα των χρηστών. Η Ομοσπονδιακή Μάθηση έχει αναδειχθεί ως λύση, καθώς επιτρέπει την εκπαίδευση των νευρωνικών δικτύων μέσω παραλλαγών του αλγορίθμου Stochastic Gradient Descent και του διαμοιρασμού ενημερώσεων μοντέλων χωρίς να εκθέτει τα πρωτογενή δεδομένα. Ωστόσο, πρόσφατες μελέτες επισημαίνουν την δυνατότητα απειλής για την ασφάλεια των χρηστών που προκύπτει από επιθέσεις που μπορούν να ανακατασκευάσουν δεδομένα αντιστρέφοντας τις διαμοιραζόμενες κλίσεις (gradients). Η παρούσα διπλωματική εργασία εξετάζει τις πιθανές απειλές αξιολογώντας διεξοδικά τις σύγχρονες επιθέσεις αντιστροφής κλίσης και προτείνοντας έναν πιθανό μηχανισμό άμυνας για τον περιορισμό των κινδύνων.
Η αξιολόγηση επιτυγχάνεται χρησιμοποιώντας διάφορα μοντέλα νευρωνικών δικτύων εκπαιδευμένα στο σύνολο δεδομένων MNIST. Οι επιθέσεις διεξάγονται σε διάφορα στάδια της εκπαίδευσης και η αποτελεσματικότητά τους ποσοτικοποιείται συγκρίνοντας τις ανακατασκευασμένες εικόνες με τις πρωτότυπες, χρησιμοποιώντας καθιερωμένες μετρικές. Επιπλέον, παρουσιάζεται μία νέα παραλλαγή της αρχικής επίθεσης {Deep Leakage from Gradients, που ονομάζεται Normalized Deep Leakage from Gradients και βελτιώνει σημαντικά την ποιότητα της ανακατασκευής των εικόνων. Τα πειραματικά αποτελέσματα καταδεικνύουν ότι ο διαμοιρασμός των κλίσεων θέτει σε κίνδυνο την ιδιωτικότητα των χρηστών, ενώ παράλληλα αναδεικνύουν την άμεση εξάρτηση της αποτελεσματικόητας των επιθέσεων από την αρχιτεκτονική πολυπλοκότητα των νευρωνικών δικτύων, το μέγεθος του batch που χρησιμοποιείται και το στάδιο της εκπαίδευσης.
Ο προτεινόμενος μηχανισμός άμυνας είναι εμπνευσμένος από τη διαφορική ιδιωτικότητα (Differential Privacy) και περιλαμβάνει την προσθήκη γκαουσιανού θορύβου ανάλογου του μέτρου της κλίσης. Ο μηχανισμός έχει σχεδιαστεί ώστε να ελαχιστοποιεί τη διαρροή πληροφορίας χωρίς να επηρεάζει σημαντικά την απόδοση της εκπαίδευσης. Τα πειραματικά αποτελέσματα δείχνουν ότι ο συνδυασμός πολύπλοκων αρχιτεκτονικών με μεγαλύτερα μεγέθη batch, συμβάλλει σημαντικά στη διατήρηση του απορρήτου των χρηστών με ελάχιστη επίδραση στην απόδοση του μοντέλου.
Εν κατακλείδι, η εργασία αυτή παρέχει μία ολοκληρωμένη ανάλυση των πιθανών κινδύνων για την ιδιωτικότητα των χρηστών που προκύπτουν από τον διαμοιρασμό των κλίσεων. Προσδιορίζοντας τόσο τις δυνατότητες όσο και τους περιορισμούς των επιθέσεων, σε συνδυασμό με την πρόταση ενός αμυντικού μηχανισμού, αναδεικνύονται τρόποι με τους οποίους μπορεί να ενισχυθεί η ιδιωτικότητα των χρηστών. Τα ευρήματα αυτής της εργασίας όχι μόνο αναγνωρίζουν τους πιθανούς κινδύνους για την ιδιωτικότητα αλλά χτίζουν και τα θεμέλια για μελλοντική έρευνα προς πιο ασφαλή συστήματα.
Abstract
The widespread adoption of machine learning techniques in various fields has raised serious concerns regarding the user data privacy. Federated Learning has emerged as a solution, since it enables training neural networks by sharing model updates without exposing raw user data. However, recent studies have highlighted potential vulnerabilities, introduced by gradient inversion attacks, demonstrating data reconstruction from shared gradients. This thesis studies this topic by comprehensively evaluating state-of-the-art gradient inversion attacks and testing a potential defense mechanism to mitigate the risks.
The evaluation is conducted using multiple neural network models trained on the MNIST dataset. The attacks are launched during different stages of training and their effectiveness is quantified by comparing reconstructed images with original ones using established similarity metrics. Furthermore, a variant of the original Deep Leakage from Gradients is introduced, termed Normalized Deep Leakage from Gradients, which significantly improves the reconstruction quality. Experimental results reveal substantial information leakage from gradients, while also demonstrating that attack performance is heavily influenced by the model's architectural complexity, batch size and training stage.
The proposed defense mechanism is inspired by differential privacy and involves injecting Gaussian noise proportional to the gradient norm. The defense is designed to minimize the information leakage while preserving the training dynamics. Experimental results indicate that when combined with more complex model architectures and larger batch sizes, the user privacy is preserved with a minimal impact on the model performance.
In conclusion, this thesis provides a comprehensive study of potential privacy vulnerabilities arising from gradient sharing. Identifying both the strengths and limitations of gradient inversion attacks, alongside with a proposed defense mechanism, this work provides insight for preserving user privacy. The findings not only highlight the privacy risks, but also build a foundation for future research toward more robust systems.
