Συντάχθηκε 11-02-2026 10:17
Τόπος:
Έναρξη: 17/02/2026 11:00
Λήξη: 17/02/2026 12:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Μηχανικών Παραγωγής και Διοίκησης
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Ημερομηνία: Τρίτη, 17 Φεβρουαρίου 2026, 11:00
Αίθουσα: Εργαστήριο Ευφυών Συστημάτων και Ρομποτικής, Σχολή Μηχανικών Παραγωγής και Διοίκησης
Ονοματεπώνυμο: ΣΟΦΙΑΝΟΠΟΥΛΟΣ ΕΚΤΟΡΑΣ-ΧΡΗΣΤΟΣ
Θέμα: Ολοκληρωμένο Πλαίσιο Τεχνητής Νοημοσύνης για τον Χειρισμό Αντικειμένων με Χρήση Αυτόνομου Κινητού Ρομπότ: Από τη Σημασιολογική Ανάθεση Εργασιών έως την Οπτική Αντίληψη
Title: Integrated Artificial Intelligence Framework for Object Manipulation Employing an Autonomous Mobile Robot: From Semantic Tasking to Visual Perception
Εξεταστική Επιτροπή
- ΔΟΪΤΣΙΔΗΣ ΕΛΕΥΘEΡΙΟΣ, Αναπληρωτής Καθηγητής (επιβλέπων)
- ΤΣΟΥΡΒΕΛΟΥΔΗΣ ΝΙΚΟΛΑΟΣ, Καθηγητής
- ΠΙΠΕΡΙΔΗΣ ΣΑΒΒΑΣ, ΕΔΙΠ
Περίληψη
Η παρούσα διπλωματική εργασία επικεντρώνεται στον σχεδιασμό, την υλοποίηση και την αξιολόγηση ενός ολοκληρωμένου πλαισίου λειτουργίας, μέσω του οποίου ένα ρομποτικό όχημα, εφοδιασμένο με ρομποτικό βραχίονα, μπορεί να εκτελέσει αυτόνομη πλοήγηση και χειρισμό αντικειμένων ακολουθώντας εντολές που διατυπώνονται σε φυσική γλώσσα. Το σύστημα υλοποιήθηκε στο πλαίσιο ROS 2 (Humble Hawksbill) και αξιολογήθηκε με χρήση του ρεαλιστικού περιβάλλοντος προσομοίωσης Gazebo Fortress. Το προσομοιωμένο έντροχο ρομποτικό όχημα ήταν εξοπλισμένο με ρομποτικό βραχίονα έξι βαθμών ελευθερίας. Για την αντιστοίχιση των εντολών φυσικής γλώσσας σε εκτελέσιμες ρομποτικές ενέργειες αξιοποιείται ένα Μεγάλο Γλωσσικό Μοντέλο, το οποίο μεταφράζει τις εντολές του χρήστη σε δομημένους στόχους. Η εκτέλεση των στόχων λειτουργίας συντονίζεται από έναν κεντρικό κόμβο, ο οποίος υλοποιείται ως μηχανή πεπερασμένων καταστάσεων και είναι υπεύθυνος για την ανάθεση των στόχων πλοήγησης στο εργαλείο Nav2 και την κατ’ απαίτηση ενεργοποίηση της οπτικής αντίληψης. Η ανίχνευση αντικειμένων πραγματοποιείται από μια κάμερα που είναι προσαρτημένη στο ρομποτικό όχημα χρησιμοποιώντας κατάλληλο μοντέλο μηχανικής μάθησης, επιτρέποντας την εκτίμηση της θέσης των αντικειμένων. Οι εκτιμώμενες θέσεις προσεγγίζονται με χρήση του πλαισίου MoveIt 2 και στη συνέχεια το όχημα αλληλεπιδρά με τα αντικείμενα. Η ορθή λειτουργία της προτεινόμενης προσέγγισης επιδεικνύεται μέσω κατάλληλα προσομοιωμένων σεναρίων λειτουργίας. Συνολικά, η εργασία παρουσιάζει ένα αρθρωτό πλαίσιο για αυτόνομη λειτουργία και χειρισμό αντικειμένων, αναδεικνύοντας τον τρόπο με τον οποίο διαφορετικές εφαρμογές Τεχνητής Νοημοσύνης μπορούν να συνδυαστούν με καθιερωμένα πλαίσια ρομποτικής αυτονομίας (ROS 2) για την επίτευξη στόχων που δίνονται από τον χειριστή με μη δομημένο τρόπο.
Abstract
This thesis presents the design, implementation and evaluation of an integrated AI-ROS 2 framework that converts natural language instructions into deterministic robot execution for autonomous mobile manipulation. The system is implemented in ROS 2 (Humble Hawksbill) and evaluated in high fidelity Gazebo (Fortress) simulation on a simulated UGV equipped with a 6-DoF manipulator. A schema driven language interface uses a Large Language Model (LLM) to interpret user commands and translate them into structured goals, compatible with the system’s control pipeline. Execution is orchestrated by a dedicated ROS 2 node that transitions the system through defined states, sending navigation requests to Nav2 and triggering perception on demand. Object detection is handled through a finetuned YOLOv8 model combined with RGB-D depth data. The estimated 3D object positions that the system provides are used to guide the manipulation stage through MoveIt 2. Experimental evaluation across representative task scenarios demonstrates robust language grounding, reliable navigation and repeatable object localization under varied and ambiguous user commands. Overall, this work delivers a modular and reproducible framework for autonomous mobile manipulation that demonstrates how cognitive and perceptual AI can be combined with established ROS 2 autonomy stacks, paving the way toward complete pick & place execution and real world deployment.
