Συντάχθηκε 22-06-2026 08:36
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 24/06/2026 14:30
Λήξη: 24/06/2026 15:30
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Νικολάου Μουζακίτη
με θέμα
Διαδραστικότητα που Βασίζεται στο Βλέμμα Χρησιμοποιώντας Παρακολούθηση Ματιών σε Επαυξημένη Πραγματικότητα
Gaze-driven Interaction using Binocular Eye-Tracking in Augmented Reality
Εξεταστική Επιτροπή
Καθηγήτρια Αικατερίνη Μανιά (επιβλέπουσα)
Καθηγητής Κωνσταντίνος Μπάλας
Καθηγητής Αντώνιος Δεληγιαννάκης
Περίληψη
Η παρούσα διπλωματική εργασία διερευνά την αλληλεπίδραση βασισμένη στο βλέμμα σε περιβάλλοντα Επαυξημένης Πραγματικότητας (AR) με τη συσκευή Magic Leap One, αντιμετωπίζοντας το πρόβλημα Midas Touch: την πρόκληση διάκρισης μεταξύ σκόπιμων εντολών μέσω βλέμματος και φυσικής οπτικής σάρωσης του περιβάλλοντος.
Σχεδιάστηκε και υλοποιήθηκε μια εφαρμογή γρίφου με θέμα ντετέκτιβ, τοποθετημένη σε ένα επιστημονικό εργαστήριο του 1914, χρησιμοποιώντας το Unity 2020.3 LTS. Η εφαρμογή τοποθετεί εικονικά αντικείμενα σε επιφάνειες του πραγματικού κόσμου που ανιχνεύονται μέσω χωρικής σάρωσης και απαιτεί από τους χρήστες να πλοηγούνται σε μενού, να συλλέγουν κρυφές ενδείξεις που αποκαλύπτονται με το φως κεριών και να εισάγουν έναν κωδικό λύσης, αποκλειστικά μέσω του βλέμματος. Ένα πλαίσιο αλληλεπίδρασης χρόνου παραμονής dwell-time) αποτελεί το κύριο αντίμετρο του προβλήματος Midas Touch, εφαρμόζοντας ενιαίο κατώφλι 1000ms για όλους τους τύπους αλληλεπίδρασης, συνοδευόμενο από ακτινωτές και γραμμικές ενδείξεις προόδου, ενώ ένα buffer καταστολής 150ms μετά από σακκαδικές κινήσεις φιλτράρει παροδικά δείγματα βλέμματος για την αποφυγή τυχαίων ενεργοποιήσεων. Νέα στοιχεία διεπαφής περιλαμβάνουν ένα κατάλογο ευρημάτων τοποθετημένο στον καρπό που συνδυάζει παρακολούθηση χεριών με ενεργοποίηση μέσω βλέμματος, καθώς και ένα ακτινωτό πληκτρολόγιο με τριγωνομετρική διάταξη πλήκτρων βελτιστοποιημένη για ελάχιστες αποστάσεις κίνησης των ματιών μεταξύ διαδοχικών επιλογών χαρακτήρων.
Μια μελέτη με οκτώ συμμετέχοντες απέδωσε ποσοστό επιτυχούς ολοκλήρωσης εργασιών 100%, ποσοστό βαθμονόμησης 87,5% στην πρώτη προσπάθεια, συνολικό ποσοστό επιτυχίας αλληλεπίδρασης μέσω βλέμματος 86%, μέση βαθμολογία φόρτου εργασίας Raw NASA-TLX 1,83 σε κλίμακα 7 βαθμών και συνολική βαθμολογία χρηστικότητας 5,83 σε κλίμακα Likert δέκα στοιχείων ειδικά για αλληλεπίδραση με βλέμμα. Τα αποτελέσματα αυτά υποδηλώνουν ότι ένα ενιαίο κατώφλι dwell-time 1000ms σε συνδυασμό με ενδείξεις προόδου σε πραγματικό χρόνο καταστέλλει αποτελεσματικά τις ακούσιες ενεργοποιήσεις χωρίς να επιβάλλει ανεπίτρεπτο φόρτο εργασίας, και ότι χρήστες χωρίς προηγούμενη εκπαίδευση μπορούν να αλληλεπιδράσουν αποτελεσματικά με διεπαφές AR βασισμένες αποκλειστικά στο βλέμμα.
Η εργασία συνεισφέρει μια υλοποίηση αναφοράς αλληλεπίδρασης βασισμένης στο βλέμμα σε AR επί καταναλωτικής συσκευής, προκαταρκτικά εμπειρικά στοιχεία για την αποτελεσματικότητα της πρόληψης Midas Touch μέσω dwell-time, και σχεδιαστικές γνώσεις που πληροφορούν μελλοντικές διεπαφές AR χωρίς χέρια για εφαρμογές προσβασιμότητας και επαγγελματικά περιβάλλοντα.
Abstract
This diploma thesis investigates gaze-driven interaction in Augmented Reality (AR) environments on the Magic Leap One, addressing the Midas Touch problem: the challenge of distinguishing deliberate gaze commands from ordinary visual scanning behaviour.
A detective-themed puzzle application set in a 1914 science laboratory was designed and implemented using Unity 2020.3 LTS. The application places virtual props on real-world surfaces detected through spatial plane scanning and requires users to navigate menus, collect hidden clues revealed by candlelight, and enter a solution code, all through eye gaze alone. A dwell-time interaction framework serves as the primary Midas Touch countermeasure, applying a uniform 1000ms threshold across all interaction types, accompanied by radial and linear progress indicators, while a 150ms post-saccadic suppression buffer filters transient gaze samples to prevent accidental activations. Novel interface components include a wrist-mounted inventory combining hand tracking with gaze activation, and a radial keyboard with trigonometric button layout optimised for minimal eye-movement distances between consecutive character selections.
A study with eight participants yielded a 100% task completion rate, an 87.5% first-attempt calibration success rate, an 86% overall gaze interaction success rate, a mean Raw NASA-TLX workload score of 1.83 on a 7-point scale, and a composite gaze interaction usability score of 5.83 on a ten-item gaze-specific Likert scale. These results suggest that a uniform 1000ms dwell-time threshold combined with real-time progress indicators effectively suppresses unintentional activations without imposing unacceptable workload, and that users without prior training can engage productively with gaze-only AR interaction.
The work contributes a reference implementation of binocular gaze-driven AR interaction on a consumer headset, preliminary empirical evidence for the effectiveness of dwell-time Midas Touch prevention, and design insights informing future hands-free AR interfaces for accessibility and professional applications.
