Ημερολόγιο Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
ΓΕΩΡΓΙΟΣ ΔΙΑΛΕΚΤΑΚΗΣ

θέμα
Ανταγωνιστική Μάθηση σε Στατιστικά Συστήματα Διαλόγου
Adversarial Learning in Statistical Dialogue Systems

Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Μιχαήλ Γ. Λαγουδάκης 
Αναπληρωτής Καθηγητής Γεώργιος Χαλκιαδάκης 
Δρ. Βασίλειος Διακολουκάς (μέλος ΕΔΙΠ Σχολής ΗΜΜΥ)

Περίληψη
Τα τελευταία χρόνια, έχει ενταθεί το ενδιαφέρον της ερευνητικής κοινότητας για τα Γενετικά Ανταγωνιστικά Δίκτυα (GANs). Το ενδιαφέρον αυτό βασίζεται στις μεγάλες δυνατότητες που έχουν επιδείξει στη σύνθεση τεχνητών εικόνων, βίντεο και ήχου. Ωστόσο, δεν έχουν χρησιμοποιηθεί ευρέως στον τομέα των Συστημάτων Διαλόγου. Σε αυτή τη διατριβή, ερευνάμε μία καινοτόμα χρήση των GANs στον τομέα των Συστημάτων Διαλόγου. Παρακινούμενοι από μία πρόσφατη σχετική εργασία, προτείνουμε μια νέα χρήση μιας μορφής Γενετικών Ανταγωνιστικών Δικτύων, του Ανταγωνιστικού Aυτόματου Kωδικοποιητή (Adversarial Autoencoder), καθώς θέλουμε να διερευνήσουμε αποδοτικές απεικονίσεις του χώρου των πεποιθήσεων μέσω του μοντέλου ανταγωνιστικής μάθησης. Εξετάζουμε τις δυσκολίες που εμφανίζονται κατά την εκπαίδευση ενός γενετικού ανταγωνιστικού δικτύου (GAN) και προτείνουμε κάποιες τεχνικές για την αντιμετώπισή τους. Συγκεκριμένα, προτείνουμε τη χρήση του Wasserstein Ανταγωνιστικού Aυτόματου Kωδικοποιητή (Autoencoder), ο οποίος βασίζεται στη συνάρτηση απώλειας του Wasserstein, και διερευνάμε την αποτελεσματικότητά του κατά την εκπαίδευση Ανταγωνιστικών Aυτόματων Kωδικοποιητών. Εξετάζουμε επίσης την αποδοτικότητα του Denoising Ανταγωνιστικού Aυτόματου Kωδικοποιητή σε περιβάλλοντα όπου υπάρχει υψηλός θόρυβος. Για να μελετήσουμε την απόδοση των μοντέλων μας, υλοποιήσαμε τους αλγορίθμους μας και εκτελέσαμε διάφορα πειράματα στο εργαλείο PyDial, όπου χρησιμοποιούμε δύο αλγορίθμους Ενισχυτικής Μάθησης, τον GP-SARSA και τον LSPI. Αυτοί οι δύο αλγόριθμοι λαμβάνουν την αναπαράσταση του χώρου των πεποιθήσεων από τον Ανταγωνιστικό Αποκωδικοποιητή και βελτιστοποιούν την πολιτική διαλόγου. Επιβεβαιώνουμε την ικανότητα του ανταγωνιστικού μοντέλου στην ισχυρή αναπαράσταση του χώρου των πεποιθήσεων και δείχνουμε ότι η μέθοδός μας παρουσιάζει παρόμοια και μερικές φορές καλύτερη απόδοση από την τελευταία λέξη της τεχνολογίας, ιδιαίτερα σε περιβάλλοντα με υψηλά επίπεδα θορύβου.  

Abstract 
In the past few years, the machine learning community has shifted its attention in Generative Adversarial Networks (GANs) and has shown their enormous potential in image, video and audio generation. Nevertheless, they haven't been used widely in the field of Spoken Dialogue Systems (SDS).  In this work, we investigate a novel use of GANs in the field of SDS. Drawing intuition from recent related work, we investigate the use of a form of GANs, the Adversarial Autoencoder (AAE), as we want to explore efficient Belief State (BS) space representations through generative adversarial modeling. We review the difficulties that arise when training a GAN and we propose techniques to improve the training process. In particular, we propose the use of the Wasserstein Adversarial Autoencoder (WAAE), which is based on the Wasserstein loss, and we investigate its effectiveness compared to the baseline AAEs. We also examine the efficiency of the Denoising Adversarial Autoencoder (DAAE) in noisy environments.  To evaluate our models, we implemented our algorithms in the PyDial toolkit and we performed several experiments employing two Reinforcement Learning (RL) algorithms, GP-SARSA and LSPI. These two algorithms receive the BS representation from the AAE and optimize the dialogue policy. Our experiments confirm the ability of the generative adversarial modeling to robustly represent the BS space, since the proposed method exhibits state-of-the-art performance, particularly in environments with high levels of noise.
 

Meeting ID: 984 5028 8075
Password: 438941