Ημερολόγιο Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Μεταπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ

ΦΩΤΙΟΥ ΓΙΑΡΙΣΚΑΝΗ 

με θέμα

Πολυμεσικό Σοβαρό Παιχνίδι με Γυαλιά Επαυξημένης Πραγματικότητας βασισμένο σε Δυναμικά Προσαρμοζόμενο Επίπεδο Δυσκολίας

A Multimodal Head-worn Augmented Reality Serious Gaming Experience based on Dynamic Difficulty Adjustment

Εξεταστική Επιτροπή

Καθηγήτρια Αικατερίνη Μανιά (επιβλέπουσα)
Καθηγητής Γεώργιος Χαλκιαδάκης
Καθηγητής Γεώργιος Γιαννακάκης (Institute of Digital Games, University of Malta (UM)) 

Περίληψη
Η παρούσα μεταπτυχιακή διπλωματική εργασία εξετάζει την ενσωμάτωση της Δυναμικά Προσαρμοζόμενης Δυσκολίας (DDA) και των Συνομιλητικών Διεπαφών Χρήστη (CUIs) στο σχετικά αναξιοποίητο πεδίο της Ακουστικής Επαυξημένης Πραγματικότητας (AAR) για συσκευές που τοποθετούνται στο κεφάλι. Σκοπός αυτής της εργασίας είναι να παρέχει μία συναρπαστική εμπειρία AAR με τη συνδυαστική χρήση διάφορων μορφών αλληλεπίδρασης, όπως η αλληλεπίδραση με το χέρι και το βλέμμα, ο χωρικός ήχος και οι φωνητικές εντολές. Η πρόκληση έγκειται στην αρμονική ενσωμάτωση αυτών των μορφών αλληλεπίδρασης για τη δημιουργία μιας συναρπαστικής AAR εμπειρίας. Η παρούσα εργασία παρουσιάζει τον σχεδιασμό, την υλοποίηση και την αξιολόγηση μιας καινοτόμου εμπειρίας AAR για συσκευές που εφαρμόζονται στο κεφάλι, βασισμένη σε μία παιγνιωδή ιστορική αφήγηση. Η προτεινόμενη προσέγγιση ενσωματώνει το DDA, τη χώρο-θεματική ανατροφοδότηση ήχου, την αλληλεπίδραση βλέμματος και μουσικά στοιχεία σε συγκεκριμένες τοποθεσίες. To DDA χρησιμοποιεί ευριστικές κατανομές βασισμένες σε παραμέτρους  όπως ο χρόνος ολοκλήρωσης του γύρου, η χρήση βοήθειας, ο υπολειπόμενος χρόνος και ο απαιτούμενος επιπλέον χρόνος. Αυτές οι παράμετροι εκτιμώνται με συγκεκριμένα βάρη για τον υπολογισμό μίας συνολικής βαθμολογίας, επιτρέποντας σε παίκτες με διαφορετικά επίπεδα δεξιοτήτων να απολαύσουν ένα εξατομικευμένο επίπεδο δυσκολίας. Μετά την ολοκλήρωση των αποστολών της AAR εμπειρίας, οι χρήστες μπορούν να δημιουργήσουν το δικό τους εξατομικευμένο ηχοτοπίο. Αυτή η εμπειρία AAR αντιμετωπίζει με επιτυχία τις προκλήσεις που σχετίζονται με τις εξατομικευμένες αλληλεπιδράσεις στην AAR και παρουσιάζει ένα σύστημα βοηθούμενο από φωνή που χρησιμοποιεί ακριβή αλληλεπίδραση με το χέρι, το βλέμμα, την φωνή, ακόμα και στο δυναμικό περιβάλλον ενός πολυσύχναστου μουσείου. Μέσω λεπτομερούς αξιολόγησης, αποδείχθηκε ότι ο συνδυασμός φωνής, χεριού και βλέμματος οδηγεί σε μεγαλύτερη ευχρηστία σε σύγκριση με τις μεμονωμένες μεθόδους αλληλεπίδρασης. Το DDA εξυπηρετεί αποτελεσματικά τις ατομικές ανάγκες των παικτών, εξασφαλίζοντας την συμμετοχή τους στην εμπειρεία καθ’ όλη τη διάρκεια της.
    
Abstract
This master's thesis explores the incorporation of Dynamic Difficulty Adjustment (DDA) and Conversational User Interfaces (CUIs) within the relatively unexplored domain of head-worn Audio Augmented Reality (AAR). The aim is to provide an engaging AAR experience by combining various interaction modalities such as hand and gaze interaction, spatial sound, and voice input. The challenge lies in seamlessly integrating these interaction modalities to create a captivating experience in AAR. This thesis presents the design, implementation, and evaluation of an innovative, flow-aspired AAR experience for head-worn AAR, presented as a gamified historical narrative. The proposed approach integrates user-driven DDA, spatialized auditory feedback, gaze-based interaction, and location-specific musical elements. The DDA component utilizes heuristic distributions based on factors such as round completion time, hint usage, remaining time, and additional time needed. These factors are weighted to calculate an overall score, enabling players of varying skill levels to enjoy a customized difficulty level. Upon completing AAR missions, users can compose their own personalized soundscape. This AAR experience successfully addresses the challenges associated with personalized AAR interactions. It introduces a voice-assisted system that employs accurate hand and gaze interaction, even in the dynamic setting of a busy museum environment. Through thorough evaluation, it has been demonstrated that the combination of voice, hand, and gaze interaction yields higher usability compared to voice-only and gaze-only interaction methods. The DDA component effectively matches players' individual styles, ensuring sustained engagement throughout the experience.
 

Meeting ID: 
989 4416 3935
Password: 
851671