Ημερολόγιο Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Μιχαήλ Θεολογίτη

με θέμα

Algorithms for Online Federated Machine Learning

Εξεταστική Επιτροπή

Καθηγητής Βασίλειος Σαμολαδάς (επιβλέπων)
Καθηγητής Αθανάσιος Λιάβας
Καθηγητής Μίνως Γαροφαλάκης

Περίληψη 

Στο σύγχρονο κόσμο, ο πολλαπλασιασμός των δεδομένων, οδηγούμενος από το διαδίκτυο, τα κοινωνικά δίκτυα και το Internet of Things (IoT), έχει επιφέρει καταλυτικές αλλαγές σε διάφορους τομείς, με το Machine Learning (ML) να βρίσκεται στο προσκήνιο αυτής της επανάστασης. Καθώς η εποχή των Big Data προάγει αξιοσημείωτες εξελίξεις του ML σε τομείς όπως η αναγνώριση εικόνων και το natural language processing, συγχρόνως εισάγει σημαντικές υπολογιστικές προκλήσεις, λογιστικά εμπόδια και ανησυχίες για τo ιδιωτικό απόρρητο. Αυτές οι πολυπλοκότητες έχουν φτάσει τις παραδοσιακές προσεγγίσεις του ML στα άκρα, αποδεικνύοντας συχνά ότι είναι ανεπαρκείς, ενθαρρύνοντας την άνοδο καινοτόμων τεχνικών όπως το Federated Learning (FL). Εμβαθύνουμε στις προκλήσεις που παρουσιάζονται στο παραδοσιακό iterative training process του FL, το οποίο είναι μη δυναμικό και υπαγορεύει προκαθορισμένες λειτουργίες για τους συμμετέχοντες learners. Διερευνούμε μια δυναμική προσέγγιση βασισμένη στις αρχές του Functional Geometric Monitoring (FGM), μιας κορυφαίας τεχνικής για την παρακολούθηση distributed data streams, με στόχο τη βελτίωση της διαδικασίας εκπαίδευσης μειώνοντας σημαντικά τον φόρτο επικοινωνίας. Υπό το πρίσμα του FGM και χρησιμοποιώντας τρεις προσεγγιστικές τεχνικές, η δουλειά μας αξιολογεί την αποτελεσματικότητά του στη βελτίωση των συμβατικών διαδικασιών εκπαίδευσης του FL, υποστηριζόμενη από πλήρεις πειραματικές αναλύσεις.

Abstract 

In the contemporary landscape, the proliferation of data, driven by the internet, social media, and the Internet of Things (IoT), has catalyzed transformative shifts across various sectors, with Machine Learning (ML) standing at the forefront of this revolution. As the Big Data era fosters remarkable ML advancements in domains like image recognition and natural language processing, it also introduces substantial computational challenges, logistical hurdles, and privacy concerns. These complexities have pushed traditional ML approaches to the limit, often proving inadequate, prompting the rise of innovative paradigms such as Federated Learning (FL). We delve into the challenges posed by FL's traditional iterative training process, which is non-dynamic and prescribes predetermined operations for participating learners. We investigate a dynamic approach anchored in the principles of Functional Geometric Monitoring (FGM), a state-of-the-art technique for monitoring distributed data streams, with the aim to enhance the training process by significantly mitigating communication overhead. Through the lens of FGM and employing three approximation techniques, our work evaluates its efficacy in refining FL's conventional training procedures, supported by comprehensive experimental analyses.