Συντάχθηκε 17-03-2026 08:56
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 30/03/2026 17:00
Λήξη: 30/03/2026 18:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Κωνσταντίνου Νικολού
με θέμα
Βελτιστοποίηση Κατανεμημένων Βαθιών Νευρωνικών Δικτύων για Προβλήματα Ταξινόμησης
Optimizing Distributed Deep Neural Networks for Classification Problems
Εξεταστική Επιτροπή
Καθηγητής Θρασύβουλος Σπυρόπουλος (επιβλέπων)
Καθηγητής Βασίλειος Διγαλάκης
Καθηγητής Ευάγγελος Καλογεράκης
Περίληψη
Το Διαδίκτυο των Πραγμάτων (ΙοΤ) ήδη αποτελείται από έναν ταχέως αναπτυσσόμενο στόλο συσκευών διεσπαρμένων παγκοσμίως. ΄Ενα μεγάλο μέρος αυτού του οικοσυστήματος αποτελείται από κάμερες CCTV και μονάδες ελέγχου κυκλοφορίας, παράγοντας μια ολοένα αυξανόμενη ροή δεδομένων. Μια μεμονωμένη κάμερα 4K παράγει έναν τεράστιο όγκο δεδομένων καθημερινά που χρειάζεται να επεξεργαστεί και να ταξινομηθεί τοπικά ή απομακρυσμένα, με τις δύο περιπτώσεις να ασκούν βαριά πίεση στην κατανομή εύρους ζώνης και στους υπολογιστικούς πόρους. Παρόμοιες προκλήσεις εμφανίζονται σε μεγάλης κλίμακας μοντέλα τεχνητής νοημοσύνης όπως τα LLMs, όπου οι υπολογιστικές απαιτήσεις ξεπερνούν τις περιορισμένες δυνατότητες των συσκευών στο άκρο. Στην πράξη, όλες αυτές οι cloud-edge εφαρμογές αντιμετωπίζουν το ίδιο δίλημμα: να επεξεργαστούν κάθε καρέ τοπικά για να εξοικονομήσουν κόστος εύρους ζώνης, ή να το αποφορτώσουν στο cloud κερδίζοντας υψηλότερη ακρίβεια ως αντάλλαγμα. Μια λύση που ερευνάται ήδη από την κοινότητα είναι η χρήση των Κατανεμημένων Βαθιών Νευρωνικών Δικτύων (DDNNs). Σε αυτά τα συστήματα, το ρηχό μέρος του μοντέλου εκτελείται στη συσκευή, στοχεύοντας σε γρήγορες αποκρίσεις χαμηλής καθυστέρησης, ενώ το βαθύτερο μέρος εκτελείται στο cloud, παράγοντας πιο λεπτομερείς και σύνθετες απαντήσεις. Παλαιότερες εργασίες συχνά έκαναν την απόφαση αποφόρτωσης εξετάζοντας απλές μετρήσεις εμπιστοσύνης, όπως ο υπολογισμός της εντροπίας της τοπικής εξόδου ή η χρήση του Monte Carlo Dropout Uncertainty. Ωστόσο, αυτές οι ευρετικές τεχνικές μπορεί να είναι παραπλανητικές, ειδικά σε περιπτώσεις όπου το edge μοντέλο είναι ιδιαίτερα σίγουρο για τη δική του λανθασμένη πρόβλεψη. Η προσέγγισή μας διατηρεί την αρχιτεκτονική του κατανεμημένου δικτύου αλλά αλλάζει τον κανόνα απόφασης: αντί για σταθερές ευρετικές μεθόδους, ένα μικρό ρηχό Νευρωνικό Δίκτυο που βρίσκεται στη συσκευή εκπαιδεύεται να προβλέπει εάν ένα δείγμα μπορεί να ταξινομηθεί με ασφάλεια τοπικά ή θα πρέπει να σταλεί στο υπολογιστικό νέφος για περαιτέρω επεξεργασία. Δοκιμές στο CIFAR-10 και άλλα σύνολα δεδομένων δείχνουν ότι αυτή η εκμαθημένη στρατηγική υπεραποδίδει έναντι των απλών ευρετικών τεχνικών όπως η εντροπία, μία φυσική επιλογή για τα τελευταίας τεχνολογίας μοντέλα, επιτρέποντας ταυτόχρονα περισσότερα δείγματα να επεξεργάζονται απευθείας στο άκρο.
Abstract
The Internet of Things (IoT) already consists of a fast-growing fleet of devices scattered worldwide. A large part of this ecosystem is made up of CCTV cameras and traffic-control units producing an ever-increasing flow of data. A single 4K camera produces a huge amount of data daily that needs to be processed and classified locally or remotely both of which put heavy pressure on bandwidth and computing resources. Similar challenges appear in large-scale AI models such as LLMs, where the computational demands exceed the limited capabilities of edge devices. In practice, all these cloud-edge applications face the same dilemma: process each frame locally to save bandwidth cost or offload it to the cloud to gain higher accuracy in return. One solution already in research by the community is the use of Distributed Deep Neural Networks (DDNNs). In these systems, the shallow part of the model runs on the device aiming for fast low-latency responses, while the deeper part executes in the cloud producing more detailed and complex answers. Earlier work often made the off-loading decision by looking at simple confidence measures, such as calculating the entropy of the local exit or using Monte Carlo Dropout Uncertainty. However, these heuristic techniques can be misleading, especially in cases where the edge model is highly confident about its own wrong prediction. Our approach keeps the distributed-network architecture but changes the decision rule: instead of fixed heuristics, a small shallow Neural Network located on the device is trained to predict whether a sample can be safely classified locally or should be sent to the cloud for further processing. Testing on CIFAR-10 and other datasets showed that this learned strategy clearly outperforms simple heuristics such as the entropy, a natural choice in state-of-the-art models, while allowing more samples to be processed directly on the edge.
