Συντάχθηκε 21-09-2026 14:00
Τόπος:
Έναρξη: 25/09/2026 12:00
Λήξη: 25/09/2026 13:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Μηχανικών Παραγωγής και Διοίκησης
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Ημερομηνία: Παρασκευή, 25 Σεπτεμβρίου 2026, 12:00
Αίθουσα: Γ3.0.013
Ονοματεπώνυμο: ΦΑΝΟΥΡΓΙΑΚΗΣ ΓΕΩΡΓΙΟΣ
Θέμα: Αξιολόγηση Μεγάλων Γλωσσικών Μοντέλων σε Προβλήματα Επιβλεπόμενης Ταξινόμησης
Title: Evaluation of Large Language Models in Supervised Classification Problems
Εξεταστική Επιτροπή
- ΦΑΦΑΛΙΟΣ ΠΑΥΛΟΣ, Επίκουρος Καθηγητής (επιβλέπων)
- ΚΩΣΤΗΣ ΑΓΓΕΛΟΣ, Επίκουρος Καθηγητής
- ΣΙΣΚΟΣ ΕΛΕΥΘΕΡΙΟΣ, Επίκουρος Καθηγητής
Περίληψη
Σε αυτήν τη διπλωματική εργασία θα εξεταστεί η αποτελεσματικότητα μεγάλων γλωσσικών μοντέλων σε προβλήματα επιβλεπόμενης ταξινόμησης (supervised classification). Πιο συγκεκριμένα, θα μελετηθεί η απόδοση διαφορετικών κατηγοριών μοντέλων, συμπεριλαμβανομένων τόσο state-of-the-art μεγάλων γλωσσικών μοντέλων (όπως το ChatGPT) όσο και μικρότερων lightweight μοντέλων (όπως Llama 3.1 8B), σε διαφορετικά προβλήματα ταξινόμησης και σύνολα δεδομένων που καλύπτουν ποικίλους τομείς εφαρμογής. Τα γλωσσικά μοντέλα θα αξιολογηθούν ως ταξινομητές με τη μέθοδο in-context learning, χωρίς προεκπαίδευση ή fine-tuning, μέσω διαφορετικών στρατηγικών διαμόρφωσης προτροπών (prompt engineering). Επιπλέον, θα συγκριθεί η απόδοση των μεγάλων γλωσσικών μοντέλων με κλασικές τεχνικές μηχανικής μάθησης για προβλήματα ταξινόμησης, όπως δέντρα απόφασης. Η αξιολόγηση θα βασιστεί σε κατάλληλες μετρικές ταξινόμησης (accuracy, precision, recall, F1-score, κτλ.), ενώ θα ληφθούν υπόψη και παράγοντες όπως ο χρόνος εκτέλεσης και οι υπολογιστικές απαιτήσεις των μοντέλων. Η μελέτη θα εξετάσει επίσης ζητήματα ντετερμινισμού των μεγάλων γλωσσικών μοντέλων, αναλύοντας πιθανές διαφοροποιήσεις στις προβλέψεις μεταξύ επαναλαμβανόμενων εκτελέσεων με τα ίδια δεδομένα εισόδου. Τα αποτελέσματα της μελέτης αναμένεται να συμβάλουν στην καλύτερη κατανόηση των δυνατοτήτων και περιορισμών των σύγχρονων γλωσσικών μοντέλων σε προβλήματα επιβλεπόμενης μάθησης.
Abstract
This thesis investigates the effectiveness of large language models in supervised classification problems. Specifically, the performance of different model categories will be studied, including both state-of-the-art large language models (such as ChatGPT) and smaller lightweight models (such as Llama 3.1 8B), across different classification problems and datasets covering a diverse range of application domains. The language models will be evaluated as classifiers using the in-context learning paradigm, without any pre-training or fine-tuning, through different prompt engineering strategies. Furthermore, the performance of large language models will be compared against classical machine learning techniques for classification problems, such as decision trees. The evaluation will be based on appropriate classification metrics (accuracy, precision, recall, F1-score, etc.), while factors such as execution time and computational requirements of the models will also be taken into account. The study will additionally examine determinism-related issues in large language models, analyzing potential variations in predictions across repeated runs using identical input data. The findings of this study are expected to contribute to a deeper understanding of the capabilities and limitations of modern language models in supervised learning problems.
