Ημερολόγιο Εκδηλώσεων

Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

AΡΤΕΜΙΣ ΓΕΩΡΓΑΚΟΠΟΥΛΟΥ

με θέμα

SceneWizard : Μία Διεπαφή Προγραμματισμού Εφαρμογών για τη Unity, για Διαδραστικές Χαρτογραφημένες Προβολές με Κινήσεις Σώματος σε Παραστάσεις Πραγματικού Χρόνου

SceneWizard: A Unity API for Embodied Interactive Projection Mapping for Real-Time Performances

Τρίτη 9 Απριλίου 2019, 2 μ.μ.

Αίθουσα 137.Π39, Κτίριο Επιστημών, Πολυτεχνειούπολη

Εξεταστική Επιτροπή

Αναπληρώτρια Καθηγήτρια Αικατερίνη Μανιά (επιβλέπουσα)

 Καθηγητής Μιχαήλ Ζερβάκης

 Αναπληρωτής Καθηγητής Κωνσταντίνος - Αλκέτας Ουγγρίνης (Σχολή Αρχιτεκτονικής, Π.Κ.)

Περίληψη

Παρουσιάζεται μία διεπαφή για την προγραμματιστική πλατφόρμα τρισδιάστατων γραφικών Unity με όνομα SceneWizard, με στόχο τη Χαρτογράφηση Διαδραστικών Προβολών (Projection Mapping), χρησιμοποιώντας τον αισθητήρα βάθους Kinect. Η κύρια ιδέα είναι να δημιουργηθεί ένας σύνδεσμος ανάμεσα στη Unity3D, το Kinect και κάποιο πρόγραμμα Χαρτογράφησης εικόνων και βίντεο, έτσι ώστε καλλιτέχνες και σχεδιαστές, οι οποίοι ασχολούνται με Χαρτογραφήσεις Προβολών, να μπορούν να εισάγουν την έννοια της διάδρασης με τα προβαλλόμενα, υπολογιστικά γραφικά εφέ. Η εργασία θα μπορεί να λειτουργήσει και σαν Πακέτο Προγραμματισμού Λογισμικού για τη Unity, το οποίο παρέχει εργαλεία για την ανάπτυξη εφαρμογών με τον αισθητήρα Kinect, αλλά και για τη δημιουργία Εγκαταστάσεων Χαρτογραφημένων Διαδραστικών Προβολών.

Η εργασία παρέχει μία Βάση Δεδομένων από κινήσεις σώματος και χεριών, στις οποίες ο αισθητήρας είναι ήδη εκπαιδευμένος και είναι έτοιμες για χρήση, αλλά και εργαλεία, τα οποία διευκολύνουν τη διαδικασία στησίματος και δημιουργίας Χαρτογραφημένων Προβολών. Χρησιμοποιώντας το εργαλείο αυτό, ο χρήστης μπορεί εύκολα να αναδημιουργήσει την πραγματική σκηνή, μέσα στο εικονικό περιβάλλον της Unity, απλά δημιουργώντας και ευθυγραμμίζοντας τα στοιχεία της προβολής (επιφάνειες και προβολέα) σύμφωνα με τη γεωμετρική σχέση μεταξύ αυτών. Επιπλέον, ο χρήστης έχει τη δυνατότητα να δημιουργήσει πολλαπλές εκδοχές μίας συγκεκριμένης σκηνής και να παρουσιάσει μία ποικιλία γραφικών ανάλογα με την έμπνευσή του, σαν μέσο για την αφήγηση οπτικών παραστάσεων. Επιπρόσθετα, ο χρήστης μπορεί να συνδέσει με αυτοματοποιημένο τρόπο κάθε επιφάνεια της σκηνής με οπτικά εφέ που ήδη έχει δημιουργήσει και παράγει από το πρόγραμμα Χαρτογράφησης Προβολών της επιλογής του.  O χρήστης μπορεί να συσχετίσει κάθε επιφάνεια που επιθυμεί με μία χειρονομία που θα της αντιστοιχεί, μέσα από τη Βάση Δεδομένων των χειρονομιών και κινήσεων σώματος που παρέχεται με το εργαλείο μας. Τέλος, ο χρήστης, χρησιμοποιώντας έναν αισθητήρα βάθους Kinect, μπορεί να παρουσιάσει επιδείξεις Χαρτογραφημένων Διαδραστικών Προβολών, μέσα από τις δυνατότητες του SceneWizard, οι οποίες είναι: δυνατότητα προσπέλασης και προβολής όλων των δημιουργημένων εκδοχών μίας σκηνής, δυνατότητα επαναφοράς της κατάστασης των επιφανειών στο αρχικό τους στάδιο, έτσι ώστε να μπορεί να πραγματοποιεί τις χειρονομίες σε μία εκδοχή σκηνής πάνω από μία φορά, και δυνατότητα αποθήκευσης των ρυθμίσεων κάθε εργασίας του σαν αυτόνομα αρχεία, τα οποία μπορούν χωρίς προβλήματα να μεταφερθούν σε οποιαδήποτε εργασία στη Unity.​​​​​​​

Abstract

In this thesis we present an Interface in Unity for Interactive Projection Mapping named Scene Wizard, using the Kinect Depth Sensor. The main idea is to create a link between Unity3D, Kinect and a Video Mapping Software (Projection Mapping Software), so that Projection Mapping artists and designers can include interactions with projected, computer-generated visual effects within each Projection Mapping project they want to perform. The project could work also as a Software Development Kit for Unity, which provides tools that assist in developing Kinect applications and Interactive Projection Mapping Installations. In addition to that, we provide a Database of Gestures that are pre-trained and ready-to-use, as well as tools that ease the Projection Mapping set-up process.

SceneWizard is an Assistance Library for Unity, which purpose is to facilitate the process of creating and presenting Interactive Projection Mapping performances. Using SceneWizard, the user can easily recreate the real scene into Unity’s virtual environment, simply by creating and aligning the projection’s components (surfaces and projector), with respect to the geometric relationship between them. The user also has the possibility to create various versions of a specific scene and present a variety of visuals, as means of storytelling performance. Additionally, the user can automatically associate the surfaces with pre-composed visual effects, created and rendered in the Video Mapping Software of his/her choice. Furthermore, the user has the possibility to correlate each surface he/she desires with a corresponding gesture, provided from the Custom gesture Database we designed for our tool. Finally, using Kinect Depth Sensor, the user can perform an Interactive projection Mapping Show, with SceneWizard’s capabilities of: iterating through the created scenes, resetting the initial state of each scene’s surfaces, so he/she can perform the gestures of a scene version more than once and saving the performance settings as stand-alone asset files, which are transferable data in any Unity project.