Ημερολόγιο Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Θεοδώρου Χαλιμά

με θέμα

Επαυξημένη Πραγματικότητα με Οθόνη Κεφαλιού και Ακολουθία Βλέμματος για Κατάσβεση Αστικών και Δασικών Πυρκαγιών με τη χρήση Θερμικής Απεικόνισης και Δεδομένων Android

Gaze-driven, Head-Worn Augmented Reality System for Firefighters in both Urban and Wild Fire Operations with the use of Thermal Imaging and Android Data

Εξεταστική Επιτροπή

Καθηγήτρια Αικατερίνη Μανιά (επιβλέπουσα)
Καθηγητής Κωνσταντίνος Μπάλας
Καθηγητής Μιχαήλ Λαγουδάκης

Περίληψη

Παρά τις πρόσφατες εξελίξεις στην τεχνολογία και τα μέτρα οργάνωσης, η πυρόσβεση αποτελεί ακόμα ένα επικίνδυνο επάγγελμα. Για τη βελτίωση της ασφάλειας και της λειτουργικής αποτελεσματικότητας κατά τη διάρκεια των επιχειρήσεων πυρόσβεσης, εξερευνάται η ενσωμάτωση αισθητήρων και η χρήση τεχνολογικών συστήματων. Μια αξιοσημείωτη τεχνολογική πρόοδος στον τομέα αυτό είναι η αξιοποίηση της επαυξημένης πραγματικότητας (Augmented Reality, AR). Η τεχνολογία AR έχει αναδειχθεί ως ένα πολλά υποσχόμενο εργαλείο για πυροσβέστες, προσφέροντας πολλαπλές δυνατότητες oπτικοποίησης για να αυξήσουν την αποτελεσματικότητά τους κατά τις επιχειρήσεις πυρόσβεσης. Αξιοποιώντας σύγχρονες οθόνες επαυξημένης πραγματικότητας που τοποθετούνται στο κεφάλι, εξοπλισμένες με μια σειρά από αισθητήρες όπως θερμικές κάμερες αλλά και διεπαφές όπως παρακολούθηση βλέμματος, οι πυροσβέστες μπορούν να αποκτήσουν βελτιωμένη επίγνωση της κατάστασης ανιχνεύοντας και κατανοώντας το περιβάλλον γύρω τους. Αυτή η διπλωματική εργασία εισάγει δύο συστήματα που αναπτύχθηκαν χρησιμοποιώντας τη μηχανή ανάπτυξης Unity, στοχεύοντας διαφορετικά σενάρια πυρόσβεσης. 
Το πρώτο σύστημα απευθύνεται σε επιχειρήσεις αστικής πυρκαγιάς και διάσωσης όπου ο πυκνός καπνός αποτελεί σημαντική πρόκληση. Με την ενσωμάτωση μιας υπέρυθρης κάμερας στο Microsoft HoloLens 2, τα θερμικά δεδομένα μπορούν να μεταδοθούν απευθείας στο οπτικό πεδίο του χειριστή, ενισχύοντας την αντίληψή του σε περιβάλλοντα γεμάτα καπνό. Σε αντίθεση με τις συμβατικές θερμικές κάμερες χειρός, αυτή η προσέγγιση διατηρεί την ικανότητα του χειριστή να χρησιμοποιεί αποτελεσματικά τα χέρια του.
Το δεύτερο σύστημα εστιάζει σε καταστάσεις δασικής πυρκαγιάς, επιτρέποντας τη ζωντανή παρακολούθηση κάθε μέλους της ομάδας που επιχειρεί στο πεδίο και την εμφάνιση των τοποθεσιών τους σε έναν τρισδιάστατο χάρτη, προσβάσιμο από απόσταση σε υπολογιστή. Επιπλέον, μια οθόνη επαυξημένης πραγματικότητας παρέχει στον αρχηγό της ομάδας, στο πεδίο, διαισθητικά οπτικά σήματα σχετικά με την τοποθεσία της ομάδας του. Αυτή η ρύθμιση διευκολύνει αναπαράσταση τοποθεσίας σε πραγματικό χρόνο όλων των μελών τόσο για τον αρχηγό της ομάδας όσο και για εκείνους που επιχειρούν εξ αποστάσεως, όπως προσωπικό σε γραφεία ή στον σταθμό. Αξιοποιώντας τις εξελίξεις στην τεχνολογία AR και αντιμετωπίζοντας την ανάγκη για λιγότερη λεκτική επικοινωνία, τα προτεινόμενα συστήματα στοχεύουν στην ενίσχυση των ικανοτήτων των πυροσβεστών, αποδεικνύοντας την ασφάλεια και την επιχειρησιακή τους αποτελεσματικότητα σε δύσκολες καταστάσεις πυρόσβεσης.

Abstract 

Despite recent advancements in technology and organizational measures, firefighting remains a perilous profession. To enhance safety and operational efficiency during firefighting operations, there has been a growing exploration of integrating sensors and technological systems. One notable technological advancement in this field is the utilization of augmented reality (AR) technology. AR technology has emerged as a promising tool for firefighters, offering enhanced visualization capabilities on the field, to augment their performance. By leveraging modern augmented reality head-mounted displays, equipped with an array of sensors such as thermal cameras and advanced user interfaces such as gaze tracking, firefighters can gain enhanced situational awareness by sensing and understanding the environment around them.
This thesis introduces two systems developed using the Unity development engine, targeting distinct firefighting scenarios. The first system addresses fire and rescue operations, where thick smoke poses a significant challenge. By integrating a heat-wavelength infrared camera with the Microsoft HoloLens 2, thermal data can be streamed directly to the operator's field of view, enhancing their perception in smoke-filled environments. Unlike conventional handheld thermal cameras, this approach maintains the operator's ability to use their hands effectively.
The second system focuses on wildfire situations, enabling live tracking of each firefighting team member and displaying their locations on a 3D map, accessible remotely on a computer. Moreover, an augmented reality headset provides the team captain on the field with intuitive visual signals communicating their teams’ location. This setup facilitates real-time location representation of all members for both the team captain and those operating remotely, such as personnel in offices or headquarters.
By leveraging the advancements in AR technology and addressing the need for seamless communication, the proposed systems aim to augment firefighters' capabilities, improving their safety and operational effectiveness in challenging firefighting situations.

Meeting ID: 932 0441 3229

Passcode: 382782