Ημερολόγιο Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Νικολέτας Κοπάση

με θέμα

Μέθοδοι Βαθιάς Μάθησης για τη Δημιουργία Τρισδιάστατων Χαρακτήρων με Δυνατότητα Κίνησης

Deep Learning Methods for Authoring Animation-ready 3D Characters

Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Ευάγγελος Καλογεράκης (επιβλέπων)
Καθηγητής Μιχαήλ Λαγουδάκης
Καθηγήτρια Aικατερίνη Μανιά

Περίληψη
Η αυτόματη δημιουργία τρισδιάστατων χαρακτήρων κατάλληλων για animation παραμένει ένα απαιτητικό πρόβλημα, καθώς απαιτεί την εκτίμηση του σκελετού (ιεραρχιών αρθρώσεων) και των skinning weights (βαρών επιρροής). Πρόσφατες μέθοδοι βασισμένες σε deep learning έχουν βελτιώσει την αυτοματοποίηση αυτής της διαδικασίας, προβλέποντας animation-ready χαρακτήρες απευθείας από τη τρισδιάστατη γεωμετρία. Ωστόσο, καθοδηγούνται κυρίως από γεωμετρικά χαρακτηριστικά και δεν αξιοποιούν ρητά σημασιολογική πληροφορία σχετικά με τα μέρη του σώματος.
Η παρούσα διπλωματική εργασία εξετάζει αν η σημασιολογική πληροφορία μερών του σώματος μπορεί να χρησιμοποιηθεί ως ένα επιπλέον σήμα καθοδήγησης (conditioning signal) για την πρόβλεψη των  blend weights. Για τον σκοπό αυτό δημιουργήθηκε ένα σημασιολογικά επαυξημένο σύνολο δεδομένων, στο οποίο κάθε σημείο του μοντέλου συνοδεύεται από πληροφορία σχετικά με το μέρος του σώματος στο οποίο ανήκει. 
Η προτεινόμενη μέθοδος ενσωματώνει τη σημασιολογική πληροφορία των μερών του σώματος στη διαδικασία πρόβλεψης των blend weights, εμπλουτίζοντας τη γεωμετρική αναπαράσταση. Η μέθοδος αξιολογείται μέσω ενός ablation study που συγκρίνει το fine-tuned geometry-only model με το προτεινόμενο semantic-conditioned model.  Η αξιολόγηση γίνεται με τη χρήση σφάλματος του blend-weight και σφάλματος του deformation. Χρησιμοποιούνται επίσης οπτικοποιήσεις για την εξέταση των προβλεπόμενων κατανομών των blend weights. 
Τα αποτελέσματα δείχνουν ότι το fine-tuning βελτιώνει την ποιότητα παραμόρφωσης και ότι η χρήση της σημασιολογικής πληροφορίας υπερέχει. Συνεπώς, το νέο semantic μοντέλο επηρεάζει θετικά τις προβλέψεις των κατανομών των βαρών.

Abstract 
Automatic generation of animation-ready 3D characters remains a challenging problem, as it requires the estimation of both the underlying skeleton (joint hierarchy) and the corresponding skinning weights. Recent deep learning approaches have significantly advanced the automation of this process by predicting animation-ready assets directly from 3D geometry. However, these methods are primarily driven by geometric features and do not explicitly exploit high-level semantic information describing the different body parts.
This thesis investigates whether body-part semantic information can be used as an additional conditioning signal for blend-weight prediction. To this end, a semantically augmented dataset was constructed, in which every point of each 3D model is associated with semantic information indicating the body part to which it belongs.
The proposed method incorporates body-part semantics into the blend-weight prediction process by enriching the original geometric representation with semantic information. The effectiveness of the proposed approach is evaluated through an ablation study comparing a fine-tuned geometry-only model with the proposed semantic-conditioned model. Performance is assessed using both blend-weight prediction error and deformation error. In addition, qualitative visualizations are employed to examine the predicted blend-weight distributions.
The experimental results show that fine-tuning improves deformation quality, while the incorporation of semantic information provides further improvements. Overall, the proposed semantic-conditioned model produces more accurate blend-weight distributions and leads to improved deformation quality compared with the geometry-only baseline.