BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//TUC//Events//EN
CALSCALE:GREGORIAN
BEGIN:VTIMEZONE
TZID:Europe/Athens
TZNAME:EEST
DTSTART:19700329T030000
RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3
BEGIN:STANDARD
TZOFFSETFROM:+0200
TZOFFSETTO:+0300
TZNAME:EET
DTSTART:19701025T040000
RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
CREATED:20250606T081601Z
LAST-MODIFIED:20250606T081601Z
DTSTAMP:20261112T003758Z
UID:1794436678@tuc.gr
SUMMARY:Παρουσίαση Μεταπτυχιακής Εργασίας κ.
  Μιχαήλ Θεολογίτη - Σχολή ΗΜΜΥ
LOCATION:Λ - Κτίριο Επιστημών/ΗΜΜΥ, 145Π-58
DESCRIPTION:https://www.tuc.gr/el/to-polytechnei
 o/ilektronikes-ypiresies/imerologio/
 imerologio-ekdiloseon-1?tx_tucevents
 2_tuceventsdisplay%5Baction%5D=show&
 tx_tucevents2_tuceventsdisplay%5Bcon
 troller%5D=Event&tx_tucevents2_tucev
 entsdisplay%5Bevent%5D=7746&cHash=36
 67cc59e69dc4e810f5ad128b44d10c\nΠΟΛΥ
 ΤΕΧΝΕΙΟ ΚΡΗΤΗΣ\n Σχολή Ηλεκτρολόγων 
 Μηχανικών και Μηχανικών Υπολογιστών\
 n Πρόγραμμα Μεταπτυχιακών (Διδακτορι
 κών) Σπουδών\n ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΑΠΤΥΧΙΑ
 ΚΗΣ ΕΡΓΑΣΙΑΣ\n ΜΙΧΑΗΛ ΘΕΟΛΟΓΙΤΗ\n με
  θέμα\n Αποτελεσματικοί σε Επικοινων
 ία Αλγόριθμοι Βαθιάς Μάθησης μέσω Δυ
 ναμικού Μέσου Όρου\n Communication-E
 fficient Federated Deep Learning via
  Dynamic Averaging\n Εξεταστική Επιτ
 ροπή\n Αναπληρωτής Καθηγητής Βασίλει
 ος Σαμολαδάς (επιβλέπων)\n Καθηγητής
  Αντώνιος Δεληγιαννάκης\n Επίκουρος 
 Καθηγητής Νικόλαος Γιατράκος\n Περίλ
 ηψη    \n Ο συνεχώς αυξανόμενος όγκο
 ς και η αποκεντρωμένη φύση των δεδομ
 ένων έχουν οδηγήσει στην εκτεταμένη 
 χρήση της κατανεμημένης βαθιάς μάθησ
 ης (DDL) και της Ομοσπονδιακής Μάθησ
 ης (FL), οι οποίες αντιμετωπίζουν δυ
 σκολίες λόγω του υψηλού κόστους μετά
 δοσης μεγάλων μοντέλων. Οι πιο σύγχρ
 ονες τεχνικές συνήθως επιβάλλουν αυσ
 τηρά διαστήματα επικοινωνίας με αυθα
 ίρετο και μη τεκμηριωμένο τρόπο. Επι
 πλέον, τα σύγχρονα μοντέλα γλώσσας κ
 αι όρασης αυξάνονται ραγδαία σε μέγε
 θος. Αυτοί οι περιορισμοί καθιστούν 
 αναγκαία μια πιο τεκμηριωμένη και πρ
 οσαρμοστική προσέγγιση στον συγχρονι
 σμό. Για να αντιμετωπίσουμε αυτή την
  πρόκληση, προτείνουμε τον αλγόριθμο
  Ομοσπονδιακού Μέσου Όρου (FDA), μια
  αποδοτική σε επικοινωνία στρατηγική
  που πυροδοτεί τον συγχρονισμό με βά
 ση τις πραγματικές συνθήκες της εκπα
 ίδευσης, παρακολουθώντας τη διακύμαν
 ση των μοντέλων.  Τα πειράματά μας μ
 ε γνωστά vision models και tasks δεί
 χνουν ότι το FDA μειώνει σημαντικά τ
 ο κόστος επικοινωνίας, διατηρώντας τ
 αυτόχρονα υψηλή απόδοση σε συνθήκες 
 με ετερογένεια. Με βάση αυτά τα αποτ
 ελέσματα, προτείνουμε επίσης την οικ
 ογένεια αλγορίθμων FDA-Opt—μια ενοπο
 ιημένη γενίκευση τόσο της FDA όσο κα
 ι του ευρέως χρησιμοποιούμενου FedOp
 t—σχεδιασμένη να λειτουργεί κατευθεί
 αν, χωρίς ανάγκη επιπλέον παραμετροπ
 οίησης. Τα πειράματά μας επικεντρώνο
 νται στη βελτιστοποίηση προ-εκπαιδευ
 μένων Γλωσσικών Μοντέλων (LM) σε tas
 ks Natural Language Processing (NLP)
  τα οποία αποδεικνύουν ότι το FDA-Op
 t υπερτερεί του FedOpt, ακόμη και ότ
 αν ο αλγόριθμός μας έχει ρυθμιστεί μ
 ε hyper-parameters βελτιστοποιημένες
  για το τελευταίο. Αυτά τα αποτελέσμ
 ατα καθιστούν το FDA-Opt μια καλύτερ
 η, πρακτική και άμεση εναλλακτική λύ
 ση του FedOpt για σύγχρονες FL βιβλι
 οθήκες και συστήματα.\n Abstract    
 \n The ever-growing volume and decen
 tralized nature of data have led to 
 the extensive use of distributed dee
 p learning (DDL) and Federated Learn
 ing (FL), both of which struggle wit
 h the high cost of transmitting larg
 e models. State-of-the-art technique
 s typically prescribe rigid communic
 ation intervals in arbitrary and non
 -principled ways. To make matters wo
 rse, modern language and vision mode
 ls are rapidly increasing in size. T
 hese limitations call for a more pri
 ncipled, adaptive approach to synchr
 onization. To address this, we propo
 se Federated Dynamic Averaging (FDA)
 , a communication-efficient strategy
  that dynamically triggers synchroni
 zation based on real-time training d
 ynamics by monitoring model variance
 . Our experiments with well-establis
 hed vision models and tasks show tha
 t FDA significantly reduces communic
 ation costs while maintaining robust
  performance across diverse heteroge
 neity settings. Building on these in
 sights, we also introduce the FDA-Op
 t family of algorithms—a unified gen
 eralization of both FDA and the wide
 ly used FedOpt—designed to work out 
 of the box without any calibration. 
 Our experiments focus on fine-tuning
  pre-trained Language Models (LMs) t
 o downstream NLP tasks and demonstra
 te that FDA-Opt consistently outperf
 orms FedOpt, even when configured wi
 th hyper-parameters optimized for th
 e latter. These results establish FD
 A-Opt as a practical, drop-in replac
 ement for FedOpt in modern FL librar
 ies and systems.\n Meeting ID: 821 3
 510 3994\n Password: 126761\n
STATUS:CONFIRMED
ORGANIZER;RSVP=FALSE;CN=TUC;CUTYPE=TUC:mailto:webmaster@tuc.gr
DTSTART:20250611T110000
DTEND:20250611T120000
TRANSP:OPAQUE
CLASS:DEFAULT
END:VEVENT
END:VCALENDAR