Ημερολόγιο Εκδηλώσεων

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Γεωργίου Χαβάκη

με θέμα

Πρόβλεψη Χαοτικών Δυναμικών Συστημάτων με Νευρωνικά Δίκτυα

Forecasting Chaotic Dynamical Systems with Neural Networks

Εξεταστική Επιτροπή

Καθηγητής Μιχαήλ Γ. Λαγουδάκης (Σχολή ΗΜΜΥ, Επιβλέπων)
Καθηγητής Διονύσιος Χριστόπουλος (Σχολή ΗΜΜΥ)
Δρ. Παντελής Βλάχας (ETH Zurich)

Περίληψη

Η πρόβλεψη χαοτικών δυναμικών συστημάτων αποτελεί ένα απαιτητικό πρόβλημα, καθώς ακόμη και μικρά σφάλματα ή μικρές αποκλίσεις στις αρχικές συνθήκες του συστήματος μπορούν να οδηγήσουν σε σημαντική απόκλιση της μελλοντικής του τροχιάς. Η παρούσα διπλωματική εργασία μελετά τη χρήση νευρωνικών δικτύων για την πρόβλεψη χρονοσειρών, με κύρια έμφαση στο χαοτικό σύστημα Lorenz και δευτερευόντως με αξιολόγηση σε πραγματικά κλινικά δεδομένα από το MIMIC-III benchmark για το πρόβλημα πρόβλεψης ενδονοσοκομειακής θνησιμότητας. Στο πλαίσιο της εργασίας συγκρίνονται δύο αρχιτεκτονικές μοντελοποίησης ακολουθιών, τα δίκτυα Long Short-Term Memory (LSTM) και τα Temporal Convolutional Networks (TCN). Για το σύστημα Lorenz δημιουργήθηκε συνθετική χρονοσειρά μέσω αριθμητικής επίλυσης των εξισώσεων του συστήματος και τα μοντέλα εκπαιδεύτηκαν στο πρόβλημα πρόβλεψης ενός βήματος. Η αξιολόγηση περιλαμβάνει τόσο την απόδοση στην πρόβλεψη ενός βήματος (one-step prediction), όσο και τη συμπεριφορά των μοντέλων σε αναδρομική πρόβλεψη πολλαπλών βημάτων (recursive rollout), όπου εξετάζεται η αύξηση του σφάλματος και ο αποτελεσματικός ορίζοντας πρόβλεψης. Δευτερευόντως, οι ίδιες αρχιτεκτονικές αξιολογήθηκαν στο ICU In-Hospital Mortality task, χρησιμοποιώντας πολυμεταβλητές κλινικές χρονοσειρές των πρώτων 48 ωρών παραμονής στη ΜΕΘ, ενώ η απόδοση αξιολογήθηκε με μετρικές, όπως AUROC, AUPRC accuracy και F1-score. Τα αποτελέσματα δείχνουν ότι και οι δύο αρχιτεκτονικές μπορούν να μάθουν βραχυπρόθεσμα χρονικά πρότυπα, τόσο σε συνθετικά, όσο και σε πραγματικά δεδομένα χρονοσειρών. Ωστόσο, στο πρόβλημα πρόβλεψης του συστήματος Lorenz το LSTM παρουσίασε μεγαλύτερο αποτελεσματικό ορίζοντα πρόβλεψης (effective prediction horizon) και πιο σταθερή συμπεριφορά κατά την αναδρομική πρόβλεψη (recursive rollout) σε σχέση με το TCN. Αντίστοιχα, στο πρόβλημα πρόβλεψης ενδονοσοκομειακής θνησιμότητας της ΜΕΘ το LSTM πέτυχε υψηλότερη τελική απόδοση, με test AUROC 0,77 έναντι 0,66 για το TCN. Συνολικά, τα αποτελέσματα υποδεικνύουν ότι το LSTM ήταν πιο αποτελεσματικό στα συγκεκριμένα πειράματα, αν και η απόδοση των μοντέλων εξαρτάται σημαντικά από τη φύση του εκάστοτε προβλήματος και τη διαθέσιμη ποσότητα δεδομένων. 

Abstract

Forecasting chaotic dynamical systems is a challenging problem, as even small errors or slight deviations in the initial conditions of the system can lead to significant divergence in its future trajectory. This diploma thesis studies the use of neural networks for time-series forecasting, with primary emphasis on the chaotic Lorenz system and, secondarily, with evaluation on real clinical data from the MIMIC-III benchmark for the in-hospital mortality prediction task. Within this work, two sequence-modeling architectures are compared: Long Short-Term Memory (LSTM) networks and Temporal Convolutional Networks (TCNs). For the Lorenz system, a synthetic time series was generated through numerical integration of the system equations, and the models were trained on a one-step-ahead prediction task. The evaluation includes both one-step prediction performance and the behavior of the models in multi-step recursive forecasting, where error growth and the effective prediction horizon are examined. Secondarily, the same architectures were evaluated on the ICU In-Hospital Mortality task, using multivariate clinical time series from the first 48 hours of ICU stay, while performance was assessed using metrics, such as AUROC, AUPRC, accuracy, and F1-score. The results show that both architectures can learn short-term temporal patterns in both synthetic and real-world time-series data. However, in the Lorenz forecasting task, the LSTM achieved a longer effective prediction horizon and exhibited more stable behavior during recursive rollout compared with the TCN. Similarly, in the ICU in-hospital mortality prediction task, the LSTM achieved higher final performance, with a test AUROC of 0.77 compared to 0.66 for the TCN. Overall, the results indicate that the LSTM was more effective in the specific experiments conducted, although model performance depends strongly on the nature of each problem and the amount of available data.  

Meeting ID: 96152983156
Password: 825484