BEGIN:VCALENDAR VERSION:2.0 PRODID:-//TUC//Events//EN CALSCALE:GREGORIAN BEGIN:VTIMEZONE TZID:Europe/Athens TZNAME:EEST DTSTART:19700329T030000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3 BEGIN:STANDARD TZOFFSETFROM:+0200 TZOFFSETTO:+0300 TZNAME:EET DTSTART:19701025T040000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10 END:STANDARD END:VTIMEZONE BEGIN:VEVENT CREATED:20260504T141002Z LAST-MODIFIED:20260504T141002Z DTSTAMP:20260514T140834Z UID:1778756914@tuc.gr SUMMARY:Παρουσίαση Διπλωματικής Εργασίας κ. Σταματίου Αλεξίου - Σχολή ΗΜΜΥ LOCATION: DESCRIPTION:https://www.tuc.gr/el/to-polytechnei o/ilektronikes-ypiresies/imerologio/ imerologio-ekdiloseon-1?tx_tucevents 2_tuceventsdisplay%5Baction%5D=show& tx_tucevents2_tuceventsdisplay%5Bcon troller%5D=Event&tx_tucevents2_tucev entsdisplay%5Bevent%5D=8393&cHash=fc cbf65c0c3a8030db80068e92448894\nΠΟΛΥ ΤΕΧΝΕΙΟ ΚΡΗΤΗΣ\n Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών\ n Πρόγραμμα Προπτυχιακών Σπουδών\n Π ΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ\n Στ αματίου Αλεξίου\n με θέμα\n Διεπαφή Επαυξημένης Πραγματικότητας για τον Έλεγχο Ρομποτικού Βραχίονα μέσω Εστί ασης Βλέμματος\n Augmented Reality I nterface for Robotic Arm Control via Gaze-Based Interaction\n Εξεταστική Επιτροπή\n Καθηγήτρια Αικατερίνη Μα νιά (επιβλέπουσα)\n Καθηγητής Μιχαήλ Λαγουδάκης\n Επίκουρος Καθηγητής Νι κόλαος Γιατράκος\n Περίληψη\n Οι Διε παφές Ανθρώπου-Ρομπότ είναι καθοριστ ικές για τη γεφύρωση του χάσματος με ταξύ ανθρώπων και ρομπότ, επιτρέποντ ας τη διαισθητική επικοινωνία και συ νεργασία. Η ρομποτική διαδικασία επι λογής και τοποθέτησης (pick-and-plac e) αποτελεί τον πυρήνα του αυτόνομου χειρισμού. Όταν εκτελείται σε περιβ άλλοντα με πολλά αντικείμενα ή αυξημ ένη πολυπλοκότητα, τα ρομπότ πρέπει να συνεκτιμούν την επιλεγμένη λαβή κ αι τις επιθυμητές θέσεις τοποθέτησης , προκειμένου να διασφαλιστεί η επιτ υχής εκτέλεση.\n Η παρούσα διπλωματι κή εργασία παρουσιάζει ένα πλαίσιο ε παυξημένης πραγματικότητας (AR) βασι σμένο σε προσομοίωση, το οποίο είναι σχεδιασμένο να υποστηρίζει τον έλεγ χο ενός ρομποτικού βραχίονα, καθοδηγ ούμενο από το βλέμμα, για εργασίες ε πιλογής και τοποθέτησης αντικειμένων . Η προτεινόμενη διεπαφή επιτρέπει σ τους χρήστες να επιλέγουν το αντικεί μενο-στόχο είτε μέσω της παραμονής τ ου βλέμματος (gaze dwell) είτε μέσω αλληλεπίδρασης με βλεφάρισμα (blink) . Μόλις επιλεγεί ένα αντικείμενο, πα ράγονται υποψήφιες στάσεις λαβής από ένα ενσωματωμένο σύστημα Ανίχνευσης Θέσης Λαβής (Grasp Pose Detection - GPD) που λειτουργεί στο νέφος σημεί ων (point cloud) του αντικειμένου, π αράγοντας τις δέκα κορυφαίες εφικτές διαμορφώσεις σύλληψης. Ωστόσο, δεδο μένου ότι το σύστημα GPD δεν λαμβάνε ι υπόψη την πολυπλοκότητα της σκηνής , εκπαιδεύτηκε ένα μοντέλο μηχανικής μάθησης για να αξιολογεί τις παραγό μενες λαβές με βάση την καταλληλότητ ά τους μέσα στη δεδομένη σκηνή. Για τον καθορισμό της τοποθέτησης, ο χρή στης χειρίζεται έναν εικονικό κλώνο του επιλεγμένου αντικειμένου στον χώ ρο χρησιμοποιώντας την προσήλωση του βλέμματος (gaze fixation) και τον σ ταθεροποιεί στην επιθυμητή θέση τοπο θέτησης μέσω βλεφαρίσματος. Αφού απο κτηθούν τόσο οι θέσεις λαβής όσο και τοποθέτησης, οι πληροφορίες αυτές μ εταδίδονται στο Robot Operating Syst em (ROS). Στη συνέχεια, ο σχεδιασμός της κίνησης και η παραγωγή της τροχ ιάς πραγματοποιούνται χρησιμοποιώντα ς το εργαλείο MoveIt, διασφαλίζοντας εκτέλεση χωρίς συγκρούσεις. Η προκύ πτουσα τροχιά αποστέλλεται πίσω στο σύστημα, όπου ο χρήστης λαμβάνει οπτ ική ανατροφοδότηση σε πραγματικό χρό νο για το ρομπότ που εκτελεί την εργ ασία ή, σε περίπτωση αποτυχίας, ένα ενημερωτικό μήνυμα που υποδεικνύει τ ην αιτία (π.χ., μη προσβάσιμος στόχο ς). Το προτεινόμενο πλαίσιο αξιολογή θηκε σε προσομοιωμένα σενάρια χειρισ μού με δύο επίπεδα πολυπλοκότητας σκ ηνής. Τα αποτελέσματα καταδεικνύουν αξιόπιστη επιλογή αντικειμένου με βά ση το βλέμμα, αποτελεσματική εκτέλεσ η της λαβής και αποδοτική ολοκλήρωση της εργασίας. Συνολικά, η εργασία α υτή συμβάλλει στους τομείς της επαυξ ημένης πραγματικότητας και του ρομπο τικού χειρισμού, παρουσιάζοντας μια διεπαφή AR καθοδηγούμενη από το βλέμ μα, η οποία ενσωματώνει την επιλογή λαβής μέσω μηχανικής μάθησης με τον σχεδιασμό κίνησης που βασίζεται στο ROS.\n Abstract \n Human-Robot Inter faces are pivotal in bridging the ga p between humans and robots, enablin g intuitive communication and collab oration. Robotic pick-and-place cons titutes the core of autonomous manip ulation. When conducted in cluttered or complex environments, robots mus t jointly reason about the selected grasp and desired placement location s to ensure successful execution. Th is thesis presents a simulation-base d augmented reality (AR) framework d esigned to support gaze-driven contr ol of a robotic arm for object pick- and-place tasks. The proposed interf ace allows users to select the targe t object either through gaze dwell o r blink interaction. Once an object is selected, candidate grasp poses a re generated by an integrated Grasp Pose Detection (GPD) system operatin g on the object’s point cloud, produ cing the top ten feasible grasp conf igurations. However, since GPD does not take into consideration scene co mplexity, a machine learning model i s trained to evaluate the generated grasps based on their suitability wi thin the given scene. For placement specification, user manipulates a vi rtual clone of the selected object i n space using gaze fixation and lock s it at the desired placement positi on via blinking. After, both grasp a nd placement poses have been acquire d, this information is transmitted t o the Robot Operating System (ROS). Motion Planning and trajectory gener ation are then performed using MoveI t, ensuring collision-free execution . The resulting trajectory is sent b ack to the system, where user receiv es real-time visual feedback of the robot performing the task or, in the case of failure, an informative log indicating the cause (e.g., unreach able target). The proposed framework was evaluated in simulated manipula tion scenarios with two levels of sc ene complexity. The results demonstr ate reliable gaze-based object selec tion, effective grasp execution, and efficient task completion. Overall, this work contributes to the fields of augmented reality and robotic ma nipulation by presenting a gaze-driv en AR interface that integrates lear ning-based grasp selection with ROS- based motion planning.\n Meeting ID: 989 8380 3627\n Passcode: 688370\n STATUS:CONFIRMED ORGANIZER;RSVP=FALSE;CN=TUC;CUTYPE=TUC:mailto:webmaster@tuc.gr DTSTART:20260507T163000 DTEND:20260507T173000 TRANSP:OPAQUE CLASS:DEFAULT END:VEVENT END:VCALENDAR