Συντάχθηκε 20-07-2026 07:44
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 20/07/2026 11:00
Λήξη: 20/07/2026 12:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Νικολάου Γκότη
με θέμα
Βελτιστοποίηση Bayes για την εκτίμηση του πυρήνα συνδιασποράς σε Γκαουσσιανές Στοχαστικές Διαδικασίες
Bayesian Optimization for Covariance Kernel Estimation of Gaussian Processes
Εξεταστική Επιτροπή
Καθηγητής Διονύσιος Χριστόπουλος (επιβλέπων)
Καθηγητής Αθανάσιος Λιάβας
Καθηγητής Θρασύβουλος Σπυρόπουλος
Περίληψη
Η Μπεϋζιανή Βελτιστοποίηση (BO) έχει αναδειχθεί ως μια ισχυρή μέθοδος για τη βελτιστοποίηση συναρτήσεων κόστους τύπου «μαύρου κουτιού» και έχει εφαρμοστεί με επιτυχία σε ένα ευρύ φάσμα επιστημονικών και μηχανικών πεδίων. Η ικανότητά της να εξισορροπεί αποτελεσματικά την εξερεύνηση και την εκμετάλλευση την καθιστά ιδιαίτερα κατάλληλη για προβλήματα στα οποία οι υπολογισμοί της συνάρτησης είναι υπολογιστικά δαπανηρές και στα οποία δεν είναι διαθέσιμη η συνάρτηση κλίσης.
Η παρούσα διπλωματική εργασία διερευνά την εφαρμογή της Μπεϋζιανής Βελτιστοποίησης στην εκτίμηση των συναρτήσεων του πυρήνα συνδιασποράς και των αντίστοιχων υπερπαραμέτρων τους σε Γκαουσσιανές Στοχαστικές Διαδικασίες (GPs).
Δεδομένου ότι η απόδοση προβλέψεων μιας Γκαουσσιανής Διαδικασίας εξαρτάται σε μεγάλο βαθμό από την επιλογή του πυρήνα και των παραμέτρων του, η ακριβής εκτίμηση του πυρήνα αποτελεί θεμελιώδη πρόκληση στη μηχανική μάθηση και στη στατιστική μοντελοποίηση.
Η εργασία παρουσιάζει ένα ολοκληρωμένο θεωρητικό μαθηματικό υπόβαθρο, το οποίο περιέχει τις Γκαουσσιανές Διαδικασίες, τους πυρήνες συνδιακύμανσης, τη Μπεϋζιανή συμπερασματολογία, τη μοντελοποίηση με υποκατάστατα μοντέλα και τις συναρτήσεις απόκτησης.
Η μαθηματική διατύπωση της Μπεϋζιανής Βελτιστοποίηση αναπτύσσεται λεπτομερώς, αναδεικνύοντας το πιθανοτικό της πλαίσιο, τις ιδιότητες σύγκλισης και τις θεμελιώσεις της στη θεωρία αποφάσεων. Εξετάζονται αρκετές ευρέως χρησιμοποιούμενες συναρτήσεις πυρήνα, συμπεριλαμβανομένων των πυρήνων Ακτινικής Βάσης (RBF), καθώς και συναρτήσεις Matérn και ρητές τετραγωνικές μορφές και η επίδρασή αυτών στη συμπεριφορά και την απόδοση των Γκαουσσιανών Διαδικασιών.
Για την ανάδειξη της αποτελεσματικότητας της προτεινόμενης προσέγγισης, η Μπεϋζιανή Βελτιστοποίηση εφαρμόζεται σε προβλήματα εκτίμησης υπερπαραμέτρων πυρήνα Γκαουσσιανών διαδικασιών καθώς και στην βελτιστοποίηση αιτιοκρατικών συναρτήσεων, συμπεριλαμβανομένης της συνάρτησης Ackley. Πραγματοποιούνται συγκριτικές αναλύσεις με εναλλακτικές τεχνικές βελτιστοποίησης, με στόχο την αξιολόγηση της απόδοσης, της ευρωστίας και της υπολογιστικής αποδοτικότητας. Επιπλέον, η μεθοδολογία επεκτείνεται στην εκτίμηση υπερπαραμέτρων του μοντέλου Στοχαστικής Τοπικής Αλληλεπίδρασης (SLI), καταδεικνύοντας την εφαρμοσιμότητά της σε προχωρημένα προβλήματα χωρικής και στατιστικής μοντελοποίησης.
Τα αποτελέσματα δείχνουν ότι η Μπεϋζιανή Βελτιστοποίηση παρέχει ένα αποτελεσματικό και υπολογιστικά αποδοτικό πλαίσιο για την εκτίμηση των υπερπαραμέτρων διαφορετικών μοντέλων, προσφέροντας σημαντικά πλεονεκτήματα στην πλοήγηση σύνθετων, πολυτροπικών παραμετρικών χώρων. Η εργασία ολοκληρώνεται με συζήτηση πρακτικών εφαρμογών σε μακροσκοπικά και μικροσκοπικά μοντέλα, των περιορισμών και των πιθανών κατευθύνσεων για μελλοντική έρευνα στη μηχανική μάθηση, τη χωρική στατιστική και την τεχνητή νοημοσύνη.
Abstract
Bayesian Optimization (BO) has emerged as a powerful framework for the optimization of expensive, black-box objective functions and has been successfully applied across a wide range of scientific and engineering domains. Its ability to efficiently balance exploration and exploitation makes it particularly suitable for problems where function evaluations are computationally costly and gradient information is unavailable.
This thesis investigates the application of Bayesian Optimization to the estimation of covariance kernel functions and their associated hyperparameters in Gaussian Processes (GPs). Since the predictive performance of a Gaussian Process depends critically on the choice of kernel and its parameters, accurate kernel estimation constitutes a fundamental challenge in probabilistic machine learning and statistical modeling.
This thesis presents a comprehensive theoretical foundation, covering Gaussian Processes, covariance kernels, Bayesian inference, surrogate modelling, and acquisition functions. The mathematical formulation of Bayesian Optimization is presented in detail, highlighting its probabilistic nature, convergence properties, and decision-based foundations. Several commonly used kernel functions, including the Radial Basis Function (RBF), the Matérn kernel function family, and the Rational Quadratic kernels, are examined alongside their influence on Gaussian Process behavior and performance.
To demonstrate the effectiveness of the proposed approach, Bayesian Optimization is applied to kernel hyperparameter estimation problems and benchmark optimization tasks, including the optimization of the Ackley function. Comparative analyses with alternative optimization techniques are conducted to evaluate performance, robustness, and computational efficiency. Furthermore, the methodology is extended to the estimation of kernel hyperparameters within the Stochastic Local Interaction (SLI) model, illustrating its applicability to advanced spatial and statistical modelling problems as well.
The results demonstrate that Bayesian Optimization provides an effective and sample-efficient framework for kernel estimation, offering significant advantages in navigating complex, multimodal parameter spaces. The thesis concludes with a discussion of practical applications, limitations, and potential directions for future research in machine learning, spatial statistics, and artificial intelligence.
