Συντάχθηκε 21-10-2026 12:15
Ενημερώθηκε:
21-10-2026 12:29
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 26/10/2026 15:00
Λήξη: 26/10/2026 16:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Πέτρου Καπενεκάκη
με θέμα
Σταθμισμένη Τυχαία Δειγματοληψία πάνω σε Joins στο Apache Flink
Weighted Random Sampling Over Joins on Apache Flink
Εξεταστική Επιτροπή
Καθηγητής Αντώνιος Δεληγιαννάκης (Σχολή ΗΜΜΥ, Επιβλέπων)
Καθηγητής Μίνως Γαροφαλάκης (Σχολή ΗΜΜΥ)
Αναπληρωτής Καθηγητής Βασίλης Σαμολαδάς (Σχολή ΗΜΜΥ)
Περίληψη
Η συνεχής αύξηση του όγκου δεδομένων που παράγεται από σύγχρονες εφαρμογές έχει ενισχύσει την ανάγκη για αποδοτικές μεθόδους επεξεργασίας δεδομένων μεγάλης κλίμακας, χωρίς να απαιτείται η πλήρης υλοποίηση ενδιάμεσων αποτελεσμάτων. Οι τεχνικές δειγματοληψίας αποτελούν μια χρήσιμη προσέγγιση για τη μείωση του όγκου των δεδομένων που πρέπει να υποβληθούν σε επεξεργασία, διατηρώντας παράλληλα αντιπροσωπευτική πληροφορία για μεταγενέστερη ανάλυση. Η παρούσα εργασία εξετάζει την ενσωμάτωση του αλγορίθμου σταθμισμένης δειγματοληψίας πάνω σε συνενώσεις One-pass* στο Synopsis Data Engine (SDE), ένα κατανεμημένο πλαίσιο επεξεργασίας βασισμένο στα Apache Flink και Apache Kafka. Βασικός στόχος είναι η εκτέλεση του One-pass* σε κατανεμημένο περιβάλλον, διατηρώντας τις ιδιότητες της σταθμισμένης δειγματοληψίας και αποφεύγοντας την πλήρη υλοποίηση του αποτελέσματος της συνένωσης. Επιπλέον, ο αλγόριθμος και το μοντέλο εκτέλεσης του SDE επεκτείνονται ώστε να υποστηρίζουν παράλληλη επεξεργασία σε πολλαπλούς workers. Αναπτύσσονται δύο εναλλακτικές προσεγγίσεις κατανεμημένης εκτέλεσης, βασισμένες στην αναπαραγωγή και στη διαμέριση της ενδιάμεσης κατάστασης. Η απόδοσή τους αξιολογείται με workloads βασισμένα στο TPC-H, για διαφορετικές δομές ερωτημάτων, μεγέθη εισόδου και βαθμούς παραλληλισμού. Τα πειραματικά αποτελέσματα καταδεικνύουν την κλιμακωσιμότητα της προτεινόμενης υλοποίησης και αναδεικνύουν τους συμβιβασμούς μεταξύ των δύο προσεγγίσεων παράλληλης εκτέλεσης.
Abstract
The continuous growth of data generated by modern applications has increased the need for efficient methods that can process large-scale data without requiring the complete materialization of intermediate results. Sampling techniques provide a useful approach for reducing the amount of data that must be processed while preserving representative information for subsequent analysis. This work explores the integration of the One-pass* weighted join-sampling algorithm into the Synopsis Data Engine (SDE), a distributed processing framework built on Apache Flink and Apache Kafka. The primary objective is to enable the execution of One-pass* in a distributed environment while preserving its weighted sampling properties and avoiding materialization of the complete join result. In addition, the algorithm and the SDE execution model are extended to support parallel processing across multiple workers. Two alternative distributed execution approaches are developed, based on replicated and partitioned intermediate state. Their performance is evaluated using TPC-H-based workloads under different query structures, input sizes, and degrees of parallelism. The experimental results demonstrate the scalability of the proposed implementation and highlight the trade-offs between the two parallel execution approaches.
