Συντάχθηκε 28-04-2026 09:31
Ενημερώθηκε:
28-04-2026 09:36
Τόπος: Λ - Κτίριο Επιστημών/ΗΜΜΥ, 141Π-36,141Π-37
Έναρξη: 30/04/2026 12:00
Λήξη: 30/04/2026 13:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Θωμά Λάγκαλη
με θέμα
Προστασία Ιδιωτικότητας σε Ομοσπονδιακή Μάθηση
Privacy Preservation in Federated Learning
Εξεταστική Επιτροπή
Καθηγητής Αθανάσιος Λιάβας (επιβλέπων)
Καθηγητής Γεώργιος Καρυστινός
Καθηγητής Θρασύβουλος Σπυρόπουλος
Περίληψη
Η μηχανική μάθηση επιτυγχάνει πλέον κορυφαία απόδοση σε ένα ευρύ φάσμα εφαρμογών, ωστόσο η εκπαίδευση των μοντέλων βασίζεται συχνά σε μεγάλα σύνολα δεδομένων που περιέχουν ευαίσθητες πληροφορίες, δημιουργώντας σημαντικές προκλήσεις ως προς την προστασία της ιδιωτικότητας. Η Ομοσπονδιακή Μάθηση (Federated Learning) έχει αναδειχθεί ως μία κατανεμημένη αρχιτεκτονική εκπαίδευσης που μειώνει τον κίνδυνο αυτό, αποφεύγοντας τη συγκέντρωση των ακατέργαστων δεδομένων σε κεντρικούς εξυπηρετητές.
Παρ’ όλα αυτά, πρόσφατες μελέτες έχουν δείξει ότι η διαρροή πληροφοριών παραμένει δυνατή τόσο σε κεντρικοποιημένα όσο και σε ομοσπονδιακά σενάρια εκπαίδευσης μέσω επιθέσεων που επιχειρούν την ανακατασκευή δεδομένων εκπαίδευσης από τα εκπαιδευμένα μοντέλα ή από τις παραγώγους.
Η παρούσα διπλωματική εργασία διερευνά τη χρήση του πλαισίου της Διαφορικής Ιδιωτικότητας (Differential Privacy) ως μιας θεμελιωμένης μαθηματικά προσέγγισης για τον περιορισμό της διαρροής πληροφορίας. Η Διαφορική Ιδιωτικότητα παρέχει θεωρητικές εγγυήσεις προστασίας περιορίζοντας την επίδραση κάθε μεμονωμένης εγγραφής του συνόλου εισόδου στα αποτελέσματα του αλγορίθμου μέσω της προσθήκης κατάλληλου θορύβου, εισάγοντας έναν αναπόφευκτο συμβιβασμό μεταξύ ιδιωτικότητας και απόδοσης του μοντέλου.
Στο πλαίσιο της εργασίας πραγματοποιείται θεωρητική και πειραματική μελέτη μηχανισμών διαφορικά ιδιωτικής εκπαίδευσης τόσο σε κλασικά μοντέλα μηχανικής μάθησης όσο και σε σενάρια Ομοσπονδιακής Μάθησης. Συγκεκριμένα, εξετάζονται τεχνικές perturbation εξόδου (output perturbation), perturbation αντικειμενικής συνάρτησης (objective perturbation) και perturbation παραγώγων (gradient perturbation) στο πλαίσιο μοντέλων softmax regression, ενώ σε περιβάλλον Ομοσπονδιακής Μάθησης αξιολογούνται διαφορικά ιδιωτικοί μηχανισμοί βασισμένοι στο perturbation παραγώγων. Οι κίνδυνοι διαρροής αξιολογούνται μέσω επιθέσεων Model Inversion σε μοντέλα softmax regression και επιθέσεων Deep Leakage from Gradients (DLG και iDLG) σε ομοσπονδιακά σχήματα εκπαίδευσης, χρησιμοποιώντας σύνολα δεδομένων εικόνων όπως τα MNIST και CIFAR-10.
Τα πειραματικά αποτελέσματα παρέχουν μια αναλυτική αξιολόγηση του συμβιβασμού μεταξύ ιδιωτικότητας και απόδοσης για διαφορετικές τιμές του προϋπολογισμού ιδιωτικότητας (privacy budget) και διαφορετικές ρυθμίσεις εκπαίδευσης, αναδεικνύοντας τον τρόπο με τον οποίο η Διαφορική Ιδιωτικότητα περιορίζει την επιτυχία επιθέσεων ανακατασκευής, επηρεάζοντας παράλληλα την ακρίβεια και τη ταχύτητα σύγκλισης των μοντέλων. Συνολικά, η εργασία προσφέρει μια ολοκληρωμένη θεωρητική και πειραματική ανάλυση της προστασίας ιδιωτικότητας στη μηχανική μάθηση και στην Ομοσπονδιακή Μάθηση υπό εγγυήσεις Διαφορικής Ιδιωτικότητας, συμβάλλοντας στην κατανόηση της ασφαλούς ανάπτυξης κατανεμημένων συστημάτων μάθησης.
Abstract
Machine learning models achieve state-of-the-art performance across a wide range of applications, but their reliance on large datasets containing sensitive personal information raises significant privacy concerns. Federated Learning has emerged as a distributed training paradigm that mitigates some of these risks by avoiding the centralization of raw data. However, recent studies have demonstrated that privacy leakage remains possible in both centralized and federated settings through inference attacks that reconstruct information about the training data from trained models or exchanged gradients.
This thesis investigates the use of Differential Privacy as a framework for limiting information leakage during the training process. Differential Privacy provides formal guarantees by bounding the influence of individual training records through the introduction of carefully calibrated noise, leading to a fundamental trade-off between model privacy and utility. We present a theoretical and experimental study of differentially private learning mechanisms in both standard machine learning and federated learning environments. In particular, (1) output perturbation, objective perturbation, and gradient perturbation techniques are analyzed in the context of softmax regression models, and (2) differentially private gradient-based mechanisms are evaluated within Federated Learning. Privacy risks are assessed using Model Inversion attacks against softmax regression models and Deep Leakage from Gradients (DLG and iDLG) attacks against federated learning schemes on image datasets such as MNIST and CIFAR-10.
The experimental results provide a detailed evaluation of the privacy–utility trade-off under different privacy budgets and training configurations, demonstrating how Differential Privacy mitigates reconstruction attacks while affecting model accuracy and convergence. Overall, this thesis presents a comprehensive theoretical and empirical analysis of privacy-preserving machine learning and federated learning under Differential Privacy guarantees, providing practical insight into the deployment of secure distributed learning systems.
