Συντάχθηκε 04-05-2026 14:10
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 07/05/2026 16:30
Λήξη: 07/05/2026 17:30
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Σταματίου Αλεξίου
με θέμα
Διεπαφή Επαυξημένης Πραγματικότητας για τον Έλεγχο Ρομποτικού Βραχίονα μέσω Εστίασης Βλέμματος
Augmented Reality Interface for Robotic Arm Control via Gaze-Based Interaction
Εξεταστική Επιτροπή
Καθηγήτρια Αικατερίνη Μανιά (επιβλέπουσα)
Καθηγητής Μιχαήλ Λαγουδάκης
Επίκουρος Καθηγητής Νικόλαος Γιατράκος
Περίληψη
Οι Διεπαφές Ανθρώπου-Ρομπότ είναι καθοριστικές για τη γεφύρωση του χάσματος μεταξύ ανθρώπων και ρομπότ, επιτρέποντας τη διαισθητική επικοινωνία και συνεργασία. Η ρομποτική διαδικασία επιλογής και τοποθέτησης (pick-and-place) αποτελεί τον πυρήνα του αυτόνομου χειρισμού. Όταν εκτελείται σε περιβάλλοντα με πολλά αντικείμενα ή αυξημένη πολυπλοκότητα, τα ρομπότ πρέπει να συνεκτιμούν την επιλεγμένη λαβή και τις επιθυμητές θέσεις τοποθέτησης, προκειμένου να διασφαλιστεί η επιτυχής εκτέλεση.
Η παρούσα διπλωματική εργασία παρουσιάζει ένα πλαίσιο επαυξημένης πραγματικότητας (AR) βασισμένο σε προσομοίωση, το οποίο είναι σχεδιασμένο να υποστηρίζει τον έλεγχο ενός ρομποτικού βραχίονα, καθοδηγούμενο από το βλέμμα, για εργασίες επιλογής και τοποθέτησης αντικειμένων. Η προτεινόμενη διεπαφή επιτρέπει στους χρήστες να επιλέγουν το αντικείμενο-στόχο είτε μέσω της παραμονής του βλέμματος (gaze dwell) είτε μέσω αλληλεπίδρασης με βλεφάρισμα (blink). Μόλις επιλεγεί ένα αντικείμενο, παράγονται υποψήφιες στάσεις λαβής από ένα ενσωματωμένο σύστημα Ανίχνευσης Θέσης Λαβής (Grasp Pose Detection - GPD) που λειτουργεί στο νέφος σημείων (point cloud) του αντικειμένου, παράγοντας τις δέκα κορυφαίες εφικτές διαμορφώσεις σύλληψης. Ωστόσο, δεδομένου ότι το σύστημα GPD δεν λαμβάνει υπόψη την πολυπλοκότητα της σκηνής, εκπαιδεύτηκε ένα μοντέλο μηχανικής μάθησης για να αξιολογεί τις παραγόμενες λαβές με βάση την καταλληλότητά τους μέσα στη δεδομένη σκηνή. Για τον καθορισμό της τοποθέτησης, ο χρήστης χειρίζεται έναν εικονικό κλώνο του επιλεγμένου αντικειμένου στον χώρο χρησιμοποιώντας την προσήλωση του βλέμματος (gaze fixation) και τον σταθεροποιεί στην επιθυμητή θέση τοποθέτησης μέσω βλεφαρίσματος. Αφού αποκτηθούν τόσο οι θέσεις λαβής όσο και τοποθέτησης, οι πληροφορίες αυτές μεταδίδονται στο Robot Operating System (ROS). Στη συνέχεια, ο σχεδιασμός της κίνησης και η παραγωγή της τροχιάς πραγματοποιούνται χρησιμοποιώντας το εργαλείο MoveIt, διασφαλίζοντας εκτέλεση χωρίς συγκρούσεις. Η προκύπτουσα τροχιά αποστέλλεται πίσω στο σύστημα, όπου ο χρήστης λαμβάνει οπτική ανατροφοδότηση σε πραγματικό χρόνο για το ρομπότ που εκτελεί την εργασία ή, σε περίπτωση αποτυχίας, ένα ενημερωτικό μήνυμα που υποδεικνύει την αιτία (π.χ., μη προσβάσιμος στόχος). Το προτεινόμενο πλαίσιο αξιολογήθηκε σε προσομοιωμένα σενάρια χειρισμού με δύο επίπεδα πολυπλοκότητας σκηνής. Τα αποτελέσματα καταδεικνύουν αξιόπιστη επιλογή αντικειμένου με βάση το βλέμμα, αποτελεσματική εκτέλεση της λαβής και αποδοτική ολοκλήρωση της εργασίας. Συνολικά, η εργασία αυτή συμβάλλει στους τομείς της επαυξημένης πραγματικότητας και του ρομποτικού χειρισμού, παρουσιάζοντας μια διεπαφή AR καθοδηγούμενη από το βλέμμα, η οποία ενσωματώνει την επιλογή λαβής μέσω μηχανικής μάθησης με τον σχεδιασμό κίνησης που βασίζεται στο ROS.
Abstract
Human-Robot Interfaces are pivotal in bridging the gap between humans and robots, enabling intuitive communication and collaboration. Robotic pick-and-place constitutes the core of autonomous manipulation. When conducted in cluttered or complex environments, robots must jointly reason about the selected grasp and desired placement locations to ensure successful execution. This thesis presents a simulation-based augmented reality (AR) framework designed to support gaze-driven control of a robotic arm for object pick-and-place tasks. The proposed interface allows users to select the target object either through gaze dwell or blink interaction. Once an object is selected, candidate grasp poses are generated by an integrated Grasp Pose Detection (GPD) system operating on the object’s point cloud, producing the top ten feasible grasp configurations. However, since GPD does not take into consideration scene complexity, a machine learning model is trained to evaluate the generated grasps based on their suitability within the given scene. For placement specification, user manipulates a virtual clone of the selected object in space using gaze fixation and locks it at the desired placement position via blinking. After, both grasp and placement poses have been acquired, this information is transmitted to the Robot Operating System (ROS). Motion Planning and trajectory generation are then performed using MoveIt, ensuring collision-free execution. The resulting trajectory is sent back to the system, where user receives real-time visual feedback of the robot performing the task or, in the case of failure, an informative log indicating the cause (e.g., unreachable target). The proposed framework was evaluated in simulated manipulation scenarios with two levels of scene complexity. The results demonstrate reliable gaze-based object selection, effective grasp execution, and efficient task completion. Overall, this work contributes to the fields of augmented reality and robotic manipulation by presenting a gaze-driven AR interface that integrates learning-based grasp selection with ROS-based motion planning.
Meeting ID: 989 8380 3627
Passcode: 688370
