Συντάχθηκε 09-06-2026 09:57
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 18/06/2026 15:00
Λήξη: 18/06/2026 16:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Ιωάννη Εμμανουηλίδη
με θέμα
Υλοποίηση ενός Ακριβούς, Αντιστρέψιμου και Συγχωνεύσιμου Σκίτσου για την Ανίχνευση Υπερ-διαμοιραστών στο Apache Flink
Implementation of an Accurate, Invertible, and Mergeable Sketch for Online Super Spreader Detection on Apache Flink
Εξεταστική Επιτροπή
Καθηγητής Αντώνιος Δεληγιαννάκης (επιβλέπων)
Καθηγητής Μίνως Γαροφαλάκης
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς
Περίληψη
Η συνεχής επέκταση των περιβαλλόντων ροών δεδομένων απαιτεί τεχνικές επεξεργασίας οι οποίες είναι αυστηρά οριοθετημένες τόσο σε χώρο όσο και σε χρόνο. Για την ικανοποίηση αυτών των περιορισμών, οι πιθανοτικές συνόψεις (σκίτσα) χρησιμοποιούνται ευρέως για να συνοψίσουν ογκώδεις ροές δεδομένων και να προσεγγίσουν αποτελέσματα ερωτημάτων χρησιμοποιώντας εξαιρετικά περιορισμένη μνήμη. Η παρούσα διπλωματική αναλύει την υλοποίηση του RGS-Sketch, μιας εξειδικευμένης δομής για την online ανίχνευση Υπερ-διαμοιραστών, καθώς και την ενσωμάτωσή της στο Apache Flink. Το RGS-Sketch εντοπίζει ροές υψηλής πληθικότητας μέσω ενός μηχανισμού Register Group Sharing, επιτυγχάνοντας ταυτόχρονα εξαιρετική αποδοτικότητα μνήμης και ταχύτητα. Για τη μεγιστοποίηση του ρυθμού διεκπεραίωσης κατά την παρακολούθηση της πληθικότητας σε πραγματικό χρόνο, ο αλγόριθμος υποστηρίζει την κλιμάκωση σε κατανεμημένα συστήματα μέσω της δομικής του συγχωνευσιμότητας, η οποία επιτρέπει την άμεση ένωση των κατανεμημένων καταστάσεων. Αυτό επιτρέπει στο σύστημα να εξάγει συλλογικά ακριβείς εκτιμήσεις πληθικότητας και να ανιχνεύει Υπερ-διαμοιραστές σε ανεξάρτητα σημεία μέτρησης.
Abstract
The continuous expansion of data stream environments requires processing techniques that are strictly bounded in both space and time. To meet these constraints, probabilistic synopses (sketches) are widely used to summarize massive data streams and approximate query results using highly restricted memory. This thesis details the implementation of the RGS-Sketch, a specialized structure for online Super Spreader detection, and its integration into Apache Flink. The RGS-Sketch identifies high-cardinality flows through a Register Group Sharing mechanism, concurrently achieving exceptional memory efficiency and speed. To maximize throughput during real time cardinality tracking, the algorithm supports scaling across distributed systems through its structural mergeability, which enables the direct fusion of distributed states. This allows the system to collectively derive accurate cardinality estimations and detect Super Spreaders across independent measurement points.
