Ημερολόγιο Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

ΕΜΜΑΝΟΥΗΛ ΖΑΧΑΡΙΑΔΗ

με θέμα

Εντοπισμός Πυρκαγιάς σε Δασικές Περιοχές, χρησιμοποιώντας Τεχνικές Βαθιάς Μάθησης και Ενοποίησης Δεδομένων σε Εναέριες
Εικόνες 
Wildforest Fire Detetction using Deep Learning and Fusion Techniques on Aerial Image Datasets 

Εξεταστική Επιτροπή

Καθηγητής Μιχαήλ Ζερβάκης (επιβλέπων)
Καθηγητής Μιχαήλ Λαγουδάκης
Αναπληρωτής Καθηγητής Απόστολος Βουλγαράκης (Σχολή ΧΗΜΗΠΕΡ, Πολυτεχνείο Κρήτης)

Περίληψη

Είναι γεγονός ότι η χώρα μας, όπως και άλλες χώρες του εξωτερικού, υποφέρει κάθε χρόνο από έντονες πυρκαγιές που αναπόφευκτα προκαλούν μεγάλες απώλειες. Στην καλύτερη περίπτωση, οι απώλειες αυτές είναι μόνο υλικές, αλλά υπάρχουν πολλές περιπτώσεις όπου οι συνέπειες δεν περιορίζονται μόνο σε αυτό το φάσμα. Σε πολλές περιπτώσεις, οι καταστροφές αυτές έχουν κρίσιμες επιπτώσεις στις ζωές των πυροσβεστών και των πολιτών, στην εξαφάνιση των ζώων και στην καταστροφή των δασών. Λαμβάνοντας υπόψη τις προβλέψεις των επιστημόνων ότι οι πυρκαγιές θα αυξάνονται κάθε χρόνο λόγω της κλιματικής αλλαγής, έχουν δημιουργηθεί πολλά συστήματα πρόληψης για την αποφυγή τέτοιου είδους καταστάσεων. Η παρούσα εργασία επικεντρώνεται στην ανάπτυξη ενός συστήματος ανίχνευσης που μπορεί να διαχωρίσει εικόνες δασών σε περιπτώσεις "πυρκαγιάς" και "μη πυρκαγιάς" με είσοδο τόσο από κάμερες RGB όσο και από κάμερες υπερύθρων (IR), αποτρέποντας δυνητικά εκτεταμένες καταστροφές. Μέσα στην εργασία μας περιέχεται και ο σχεδιασμός ενός νέου μοντέλου παραγμένου από την ομάδα μας ο οποίος πιστεύουμε ότι αυξάνει τις πιθανότητες για την αποφυγή μιας τέτοιας δυσάρεστης κατάστασης. Ο σχεδιασμός μας ονομάζεται ShRe-Xception (Short Recursive) και είναι ένα συνονθύλευμα που χρησιμοποιεί χαρακτηριστικά τόσο από μια υπάρχουσα μικρή - αρχιτεκτονική του δικτύου Xception (small-arch Xception) όσο και από την αρχική έκδοση του δικτύου Xception, που προτάθηκε από τον F. Chollet. Αυτή τη μελέτη περιλαμβάνει μια πειραματική διαδικασία γύρω από τον τρόπο εκπαίδευσης ενός νευρωνικού δικτύου με δύο διαφορετικά σύνολα δεδομένων και το ρόλο που έρχεται να παίξει η αρχιτεκτονική του στην μετέπειτα απόδοση. Αρχικά, εκτελούμε transfer learning στο small-arch Xception με είσοδο είτε από εικόνες RGB είτε από εικόνες IR και στη συνέχεια, παίρνουμε την ίδια αρχιτεκτονική και την εκπαιδεύουμε με όλες τις εικόνες RGB από την αρχή εκτελώντας αργότερα την επανεκπαίδευση με θερμικές εικόνες. Εκπαιδεύουμε επίσης το προτεινόμενο δίκτυο ShRe-Xception χρησιμοποιώντας όλες τις εικόνες RGB από την αρχή και επανεκπαιδεύοντάς το με θερμικές εικόνες στη συνέχεια. Τα σύνολα δεδομένων που χρησιμοποιούνται για σκοπούς εκπαίδευσης και δοκιμής περιέχουν εικόνες "πυρκαγιάς" και "μη πυρκαγιάς" από δάση που έχουν ληφθεί από UAV και έχουν αναρτηθεί στην IEEE dataport. Κατά τη δοκιμή των παραπάνω μοντέλων, η ακρίβεια των δοκιμών ήταν RGB: 77,13% / IR: 94,47% μετά το transfer learning στο small-arch Xception, RGB: 84,86% / IR: 29,19% κατά την αρχική εκπαίδευση του small-arch Xception και RGB: 90,10% / IR: 99,31% μετά την αρχική εκπαίδευση στο μοντέλο ShRe-Xception. Τα παραπάνω αποτελέσματα είναι ενδεικτικά, καθώς πραγματοποιήθηκαν και πολλές άλλες τεχνικές, όπως θα συζητηθούν στην ενότητα των πειραμάτων και την ενότητα των αποτελεσμάτων. Σε γενικές γραμμές, το τελευταίο μοντέλο αποδείχθηκε το πιο ακριβές για εικόνες και των δύο φασμάτων στα πειράματά μας. Το ShRe-Xception μπορεί ενδεχομένως να διαδραματίσει ζωτικό και αποτελεσματικό ρόλο στην ανίχνευση πυρκαγιάς σε πραγματικό χρόνο κατά την εναέρια επιτήρηση των δασών.

Abstract

Greece, like other countries abroad, suffers every year from intense fires which inevitably cause losses. In the best-case scenario, these losses are materialistic only, but there are many cases where the consequences are not limited to those losses. This kind of destruction has a crucial impact on firefighters and civilian lives, animal extinction, and forest degradation. Considering scientists' predictions that fires will increase every year due to climate change, many prevention systems have been set up to avoid this kind of situation. This thesis focuses on developing a detection approach that can classify images of forests in “Fire” and “non-Fire” cases with input from both RGB and Infrared (IR) cameras. Along with this work, an architecture is proposed that increases the possibility to prevent this unpleasant situation. The new deep learning architecture is called ShRe-Xception (Short Recursive), inspired by already existing Xception network architectures (i.e., small-arch Xception and original Xception Network). In this study, an experimental process takes place around how to train a neural network with two different datasets and the relevance of its architecture. First, transfer learning is performed on the small-arch Xception network with input from either RGB or IR images, and then, the same structure is trained with all the RGB images from the very beginning. Also, the proposed ShRe-Xception network is trained by using all RGB images from the very beginning and then retrained with infrared frames. Datasets used for training and testing purposes contain “Fire” and “non-Fire” images of forests that are captured from UAVs and uploaded to the IEEE portal. When testing the above models, the evaluation accuracy was RGB: 90.10% and IR: 99.31% after initial training and ShRe-Xception model, RGB: 77.13% and IR: 94.47% after transfer learning on small-arch Xception, and RGB: 84.86% and IR: 29.19% when initially training the small-arch Xception. The above results are described and analyzed within the present Thesis as many other operations were performed as there will be discussed in the experimenting and the results section. In general, the latter model came to be the most accurate one for images of both spectrums in our experiments. The ShRe-Xception can potentially play a vital and efficient role in real-time fire detection during aerial surveillance of wild forests.