Συντάχθηκε 26-11-2025 12:32
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 28/11/2025 09:00
Λήξη: 28/11/2025 10:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Γεωργίου Μαρίου Τσικριτζάκη
με θέμα
Ένας Βελτιστοποιητής για Κλιμακώσιμη Προσεγγιστική Αναγνώριση Πολύπλοκων Γεγονότων στο Apache Flink
An Optimizer for Scalable Approximate Complex Event Recognition over Apache Flink
Εξεταστική Επιτροπή
Επίκουρος Καθηγητής Νικόλαος Γιατράκος (επιβλέπων)
Καθηγητής Μίνως Γαροφαλάκης
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς
Περίληψη
Τα συστήματα Complex Event Processing (CEP) συχνά αντιμετωπίζουν υπερφόρτωση όταν ο ρυθμός εισερχόμενων γεγονότων υπερβαίνει τη διαθέσιμη υπολογιστική ισχύ ή τη μνήμη.
Σε τέτοιες συνθήκες, το backpressure και η υπερβολική αύξηση της κατάστασης μπορούν να υποβαθμίσουν σοβαρά την απόδοση, οδηγώντας σε καθυστερημένα ή απαρχαιωμένα σύνθετα γεγονότα που ενδέχεται να χάσουν τη λειτουργική τους σημασία. Η παρούσα διπλωματική εργασία αντιμετωπίζει αυτή την πρόκληση παρουσιάζοντας ένα πιθανοτικό, ανά είδος γεγονότος πλαίσιο απόρριψης δεδομένων για CEP στο Apache Flink. Κάθε οντότητα στη ροή γεγονότων διαθέτει έναν προκαθορισμένο προϋπολογισμό (event budget), που περιορίζει τον αριθμό των γεγονότων που διατηρούνται στη μνήμη και εξασφαλίζει φραγμένο μέγεθος κατάστασης σε όλους τους τελεστές. Η προτεινόμενη προσέγγιση απορρίπτει επιλεκτικά γεγονότα με στατιστικά ελεγχόμενο τρόπο, ώστε να σταθεροποιήσει την απόδοση διατηρώντας παράλληλα υψηλή ακρίβεια ανίχνευσης. Οι λόγοι απόρριψης (shedding ratios) ανά είδος γεγονότος και τα επίπεδα παραλληλισμού των τελεστών ρυθμίζονται αυτόματα μέσω μιας διαδικασίας Bayesian Optimization, η οποία αναζητά τη βέλτιστη λύση για κάθε συνδυασμό Selection Strategy και Consumption Policy στο CEP. Αυτό επιτρέπει την προσαρμοστική διαχείριση της απόδοσης σε όλα τα σημασιολογικά μοντέλα CEP, αντί της βελτιστοποίησης για έναν μόνο τύπο ερωτήματος. Πέρα από τον σχεδιασμό ενός νέου, ελαφρού μηχανισμού shedding, η εργασία εξετάζει επίσης, τη σχέση μεταξύ απόρριψης δεδομένων και παραλληλισμού ως συνεργατικές στρατηγικές για τη διατήρηση της απόδοσης. Το προτεινόμενο πλαίσιο αξιολογεί και τις δύο προσεγγίσεις υπό τις ίδιες συνθήκες και προσδιορίζει πότε το shedding είναι απαραίτητο, πότε ο παραλληλισμός από μόνος του προσφέρει την ιδανική ισορροπία μεταξύ ρυθμού επεξεργασίας και ακρίβειας, καθώς και πότε πρέπει να εφαρμόζονται και τα δύο παράλληλα. Τέλος, η μελέτη εξετάζει τον αντίκτυπο των χρονικών σημασιών—event time και ingestion time—στην Ποιότητα Αποτελεσμάτων (QoR) και στα αντίστοιχα αποτελέσματα βελτιστοποίησης. Τα πειραματικά αποτελέσματα δείχνουν ότι το προτεινόμενο πλαίσιο προσαρμόζεται αποτελεσματικά στα χαρακτηριστικά του φόρτου, επιτυγχάνοντας ισορροπημένη βελτίωση τόσο στον ρυθμό επεξεργασίας όσο και στην ακρίβεια για κατανεμημένες CEP εφαρμογές βασισμένες στο Flink.
Abstract
Complex Event Processing (CEP) systems often face overload when incoming event rates exceed processing or memory capacity. Under such conditions, backpressure and excessive state growth can severely degrade performance, resulting in delayed or outdated complex events that may lose their operational relevance. This thesis addresses this challenge by introducing a probabilistic, stratified load-shedding framework for CEP on Apache Flink. Each entity in the stream is allocated a fixed event budget, which limits the number of events maintained in memory and ensures bounded state size across operators. The approach selectively discards events in a statistically controlled manner to stabilize performance while preserving detection accuracy. Shedding ratios per event type and operator parallelism levels are automatically tuned through a Bayesian Optimization process, which searches for the best configuration for each combination of CEP selection strategy and consumption policy. This enables adaptive performance management across all CEP semantics rather than optimizing for a single query type. Beyond proposing a new lightweight shedding mechanism, the thesis also studies the trade-off between load shedding and operator parallelism as synergistic strategies for sustaining performance. The framework evaluates both approaches under identical conditions and determines when shedding is necessary, when parallelism alone provides the optimal balance between throughput and accuracy or when both should be applied on par with one another. Finally, the study examines the impact of time semantics—event time, and ingestion time—on Quality of Results (QoR) and on the resulting optimization outcomes. The results demonstrate that the proposed framework effectively adapts to workload characteristics, achieving a balanced improvement in throughput and accuracy for distributed CEP applications built on Flink.
