Συντάχθηκε 12-02-2025 08:31
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 18/02/2025 11:00
Λήξη: 18/02/2025 12:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Γεωργίου Σκουλά
με θέμα
Συλλογή και Ανάλυση Σετ Δεδομένων για Αλγορίθμους Δικτύων με χρήση Μεθόδων Τεχνητής Νοημοσύνης
Collection and Analysis of Datasets for AI-Driven Networking Algorithms
Εξεταστική Επιτροπή
Καθηγητής Θρασύβουλος Σπυρόπουλος (επιβλέπων)
Καθηγητής Γεώργιος Καρυστινός
Καθηγητής Διονύσιος Χριστόπουλος
Περίληψη
Η ενσωμάτωση της τεχνητής νοημοσύνης στα δικτυακά συστήματα έχει εγκαινιάσει μια νέα εποχή αποδοτικότητας, επεκτασιμότητας και ευφυΐας στη διαχείριση των σύγχρονων επικοινωνιακών υποδομών. Ωστόσο, η αποτελεσματικότητα των αλγορίθμων δικτύωσης που βασίζονται στην τεχνητή νοημοσύνη εξαρτάται άμεσα από την ποιότητα των δεδομένων που χρησιμοποιούνται για την ανάπτυξη και αξιολόγησή τους. Η παρούσα διπλωματική εργασία εστιάζει στη συλλογή, προεπεξεργασία και ανάλυση συνόλων δεδομένων από διάφορους τομείς, όπως το cloud computing, τα δίκτυα 4G και πλατφόρμες όπως το YouTube, με στόχο τον σχεδιασμό προηγμένων αλγορίθμων που βασίζονται στην τεχνητή νοημοσύνη. Παρουσιάζεται μια εκτενής μελέτη τεσσάρων βασικών συνόλων δεδομένων: Helios και Philly, τα οποία αντιπροσωπεύουν φόρτους εργασίας βασισμένους σε GPU στο cloud computing· ένα σύνολο δεδομένων 4G LTE που καταγράφει την απόδοση κυψελοειδών δικτύων υπό διάφορες συνθήκες κινητικότητας· και ένα σύνολο δεδομένων από το Youtube που περιλαμβάνει μετρήσεις αλληλεπίδρασης χρηστών. Κάθε σύνολο δεδομένων προεπεξεργάζεται και αναλύεται διεξοδικά για την αντιμετώπιση προκλήσεων, όπως η μη στασιμότητα, οι βαριές ουρές κατανομών και τα ελλιπή δεδομένα. Τεχνικές ανάλυσης χρονοσειρών, όπως η κυλιόμενη μέση τιμή, η συνάρτηση αυτοσυσχέτισης και το τεστ Augmented Dickey-Fuller (ADF), εφαρμόζονται για την εξαγωγή στατιστικών ιδιοτήτων και τη βελτίωση της καταλληλότητας των δεδομένων για μοντέλα προβλέψεων. Επιπλέον, η εργασία καταδεικνύει τις πρακτικές εφαρμογές αυτών των συνόλων δεδομένων μέσω της ανάπτυξης μοντέλων, όπως το ARIMA και τα νευρωνικά δίκτυα. Τα μοντέλα αξιολογούνται για την ικανότητά τους να προβλέπουν σύμφωνα με δείκτες απόδοσης, να βελτιστοποιούν την κατανομή πόρων και να ενισχύουν την αξιοπιστία των δικτυακών συστημάτων. Παράλληλα, οι γνώσεις που απορρέουν από την ανάλυση συμβάλλουν στη διαμόρφωση στρατηγικών βελτίωσης της απόδοσης συστημάτων και στην ανάπτυξη πολιτικών προγραμματισμού με αντοχή σε σφάλματα σε συμπλέγματα GPU και κυψελοειδή δίκτυα. Τα ευρήματα αυτής της διπλωματικής εργασίας αναδεικνύουν τον κρίσιμο ρόλο των αξιόπιστων συνόλων δεδομένων στην προώθηση των αλγορίθμων δικτύωσης που βασίζονται στην τεχνητής νοημοσύνης. Μέσα από την αντιμετώπιση προκλήσεων συλλογής και προεπεξεργασίας δεδομένων και την επίδειξη της χρησιμότητάς τους σε πραγματικά σενάρια, η παρούσα εργασία συνεισφέρει στις βάσεις για μελλοντικές καινοτομίες στα ευφυή δικτυακά συστήματα.
Abstract
The integration of artificial intelligence (AI) into networking systems has ushered in a new era of efficiency, scalability, and intelligence in managing modern communication infrastructures. However, the effectiveness of AI-driven networking algorithms is intrinsically tied to the quality and relevance of the datasets used for their development and evaluation. This thesis focuses on the collection, preprocessing, and analysis of datasets derived from diverse domains, including cloud computing, 4G networks, and online platforms like YouTube, to enable the design of advanced AI-driven algorithms. We present a comprehensive study of four key datasets: Helios and Philly, representing GPU-based cloud computing workloads, a 4G LTE dataset capturing cellular network performance under varying mobility conditions, and a YouTube dataset encompassing user engagement metrics. Each dataset is meticulously preprocessed and analyzed to address challenges such as non-stationarity, heavy-tailed distributions, and missing data. Time-series analysis techniques, including rolling mean, autocorrelation function (ACF), and the Augmented Dickey-Fuller (ADF) test, are applied to uncover statistical properties and enhance data suitability for predictive modeling. This work also demonstrates the practical applications of these datasets by developing predictive models using techniques such as ARIMA and neural networks. The models are evaluated for their ability to forecast key performance metrics, optimize resource allocation, and enhance the reliability of networking systems. Additionally, insights from the analysis inform strategies for improving system performance and developing error-resilient scheduling policies in GPU clusters and cellular networks. The findings of this thesis underscore the critical role of robust datasets in advancing AI-driven networking algorithms. By addressing the challenges of data collection and preprocessing and showcasing their potential in real-world scenarios, this work contributes to the foundation for future innovations in intelligent networking systems.
