Ημερολόγιο Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Εμμανουήλ Περάκη

με θέμα

Εξερεύνηση Σχεδιαστικού Χώρου για Επιτάχυνση Μεθόδων Συνεχούς Μάθησης Συνελικτικών Νευρωνικών Δικτύών σε Υλικό Υπολογιστών (Hardware)

Design Space Exploration of Hardware Accelerated Continual Learning Methods in Convolutional Neural Networks

Εξεταστική Επιτροπή

Καθηγητής Απόστολος Δόλλας (επιβλέπων)
Καθηγητής Μιχαήλ Λαγουδάκης
Επίκουρος Καθηγητής Γρηγόριος Τσαγκατάκης (Τμήμα Επιστήμης Υπολογιστών, Πανεπιστήμιο Κρήτης)

Περίληψη

Η Τεχνητή Νοημοσύνη (ΤΝ) και η Μηχανική Μάθηση (ΜΜ) έχουν δει αναμφισβήτητη πρόοδο τα τελευταία χρόνια, βρίσκοντας χρήση σε διάφορους κλάδους από την ιατρική και τα μηχανήματα που χρησιμοποιούνται στη βιομηχανία μέχρι την Ανάλυση Δεδομένων και το Διαδίκτυο των Πραγμάτων (IoT). Ένας τρόπος με τον οποίο η Μηχανική Μάθηση στην άκρη αποτυγχάνει είναι το να μάθει από νέα, πρωτοφανή δεδομένα, χωρίς να έχει πρόσβαση σε προηγούμενα δεδομένα. Αν μέινει όπως είναι, τότε η προσπάθεια εκμάθησης νέων κλάσεων οδηγεί σε ένα φαινόμενο που ονομάζεται καταστροφική λήθη. Εκπαιδεύοντας ένας ταξινομητή ο οποίος είναι διαχωρισμένος από τις παραμέτρους ενός δικτύου το μοντέλο μπορεί να μάθει νέες εργασίες χωρίς να ξεχνάει τις προηγούμενες, και όλα αυτά σε χρόνο συμπερασμού. Εδώ είναι που "εισέρχεται στην εξίσωση" η Συνεχής Μάθηση, και σημαντικότερα για τη συγκεκριμένη διατριβή, η Εισρέουσα Γραμμική Διακριτική Ανάλυση. Σε αυτή τη διατριβή ένας επιταχυντής για την προαναφερθείσα μέθοδο υλοποιήθηκε και κατέβηκε σε συσκευή Προγραμματιζόμενη Συστοιχία Πυλών Πεδίου και συγρίθηκε με άλλες πλατφόρμες όπως μοντέρνoυς επεξεργαστές και Επξεργαστικές Μονάδες Γραφικών. O επιταχυντής επιτυγχάνει, σε αριθμητική σταθερής υποδιαστολής, καθυστέρηση που είναι δύο τάξεις μεγέθους χαμηλότερη ακόμα και από Επξεργαστικές Μονάδες Γραφικών αλλά ταυτόχρονα είναι εκατοντάδες φορές πιο ενεργειακά αποδοτικός. Η βελτίωση στην καθυστέρηση, σε αριθμητική κινητής υποδιαστολής είναι πολύ μικρότερη αλλά συγκρίσημη με σύγχρονες συσκευές παράλληλα διατηρώντας την ενεργειακή απόδοση.

Abstract 

Artificial Intelligence (AI) and Machine Learning (ML) have seen indisputable advancements over the years, spanning a large number of branches from medicine and industry related machinery to data analytics and Internet of Things. One way in which Machine Learning on the edge falters is to learn from new, never before seen data, without having access to the previous data. If left as it is, trying to learn new classes results in catastrophic forgetting. By training a classifier that is separated from the network's parameters the model can learn new tasks without forgetting previously learned ones, and do this at inference time. This is where Continual Learning, and more importantly to this thesis, Streaming Linear Discriminant Analysis comes into play. In this thesis, an accelerator for the previously mentioned method was fully implemented and downloaded on an Field Programmable Gate Array (FPGA) device and compared to other platforms such as modern CPUs and Graphical Processing Units (GPUs). This accelerator results in fixed point latency that is two orders of magnitude smaller than even GPUs and hundrends of times more energy efficient. The floating point latency speedup is a lot smaller but still comparable to modern devices, while retaining the energy efficiency.