Συντάχθηκε 18-02-2026 10:36
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 19/02/2026 13:30
Λήξη: 19/02/2026 14:30
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Παναγιώτη Γεωργακόπουλου – Παλτίδη
με θέμα
Υβριδικά Argo Workflows με Kubernetes και Slurm
Hybrid Argo Workflows with Kubernetes and Slurm
Εξεταστική Επιτροπή
Αναπληρωτής Καθηγητής Βασίλειος Σαμολαδάς (επιβλέπων)
Καθηγητής Αντώνιος Δεληγιαννάκης
Επίκουρος Καθηγητής Νικόλαος Γιατράκος
Περίληψη
Υπάρχει αυξανόμενο ενδιαφέρον για την ενσωμάτωση παραδοσιακών διαχειριστών φόρτου εργασίας HPC (Slurm) και cloud native orchestrators (Kubernetes) με στόχο την βελτιστοποιημένη αξιοποίηση πόρων σε φόρτους εργασίας που μπορούν να επωφεληθούν και από τις δύο αρχιτεκτονικές. Αυτό είναι ιδιαίτερα αληθές σε πιο σύνθετες ροές επεξεργασίας δεδομένων που επιθυμούν να ενσωματώσουν τόσο βήματα cloud-native όσο και HPC στην ίδια ροή εργασίας, όπως στις ροές εργασίας ML (inference), βιοπληροφορική, ανάλυση δεδομένων, MPI και σε περιπτώσεις όπου ο HPC Cluster διαθέτει περιορισμένο αποθηκευτικό χώρο και θέλουμε να εκτελέσουμε κάποια μορφή προεπεξεργασίας δεδομένων. Αυτή η διπλωματική εργασία παρουσιάζει ένα εργαλείο που μπορεί να μεταφράσει μια γλώσσα υψηλού επιπέδου για υβριδικές ροές εργασίας Kubernetes και Slurm σε μια ροή εργασίας Argo, επιτρέποντάς μας να αξιοποιήσουμε τα πλεονεκτήματα κάθε συστήματος χωρίς δυσκολίες. Το σύστημα χρησιμοποιεί ένα Argo workflow template που ζει στο Kubernetes cluster για να υποβάλει εργασίες στο Slurm μέσω SSH, διαχειρίζεται τη μεταφορά δεδομένων μεταξύ τους (S3 Storage) και δρομολογεί τις δουλειές με μια προεπιλεγμένη πολιτική προγραμματισμού βασισμένη στις εξαρτήσεις των βημάτων της ροής εργασίας. Επιπλέον, το εργαλείο παρέχει δυνατότητες επέκτασης, επιτρέποντας στον χρήστη να ορίσει τον δικό του προσαρμοσμένο δρομολογητή που λειτουργεί πάνω από τον προεγκατεστημένο δρομολογητή του Slurm.
Abstract
There is a growing interest in integrating traditional HPC workload managers (Slurm) and cloud native orchestrators (Kubernetes) in order to achieve optimized resource utilization in workloads that can benefit from both architectures. This is especially true in higher level data processing pipelines that want to integrate both Cloud-native and HPC steps into the same workflow such as in ML pipelines (inference), bioinformatics, data analysis, large-scale MPI workloads and in use cases where the HPC Cluster has limited storage and we want to execute some form of data pre-processing. This Master’s thesis presents a tool that can translate a high-level descriptive language for hybrid Kubernetes and Slurm workflows into an Argo Workflow allowing us to leverage each system’s strengths seamlessly. The system uses an Argo workflow template that lives in the Kubernetes cluster to submit jobs to Slurm through SSH and handles the data transfer between them (S3 Storage) and job prioritization with a default scheduling policy based on the dependencies of the workflow steps. Additionally, the tool provides extensibility by allowing the user to define his own custom scheduler working on top of the pre-existing Slurm batch job scheduler.
