Συντάχθηκε 07-10-2025 10:52
Τόπος:
Σύνδεσμος τηλεδιάσκεψης
Έναρξη: 08/10/2025 14:00
Λήξη: 08/10/2025 15:00
ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών
ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ
Γεωργίου Φραγκογιάννη
με θέμα
Αυτόματη Περίληψη Φυτοπαθολογιών με Χρήση Πολυτροπικών Μεγάλων Γλωσσικών Μοντέλων
Automatic Summarization of Phytopathologies Using Multimodal Large Language Models
Εξεταστική Επιτροπή
Καθηγητής Μιχαήλ Γ. Λαγουδάκης (Σχολή ΗΜΜΥ, Επιβλέπων)
Καθηγητής Θρασύβουλος Σπυρόπουλος (Σχολή ΗΜΜΥ)
Δρ. Βασίλειος Διακολουκάς (Σχολή ΗΜΜΥ)
Περίληψη
Η σύγχρονη γεωργία καλείται να ανταποκριθεί στις αυξανόμενες ανάγκες για παραγωγή τροφής, διατηρώντας παράλληλα τη βιωσιμότητα και την αποδοτικότητά της. Η πρόκληση αυτή καθιστά απαραίτητη την αξιοποίηση προηγμένων τεχνολογιών, όπως η υπολογιστική όραση και τα σύγχρονα μεγάλα γλωσσικά μοντέλα, ιδιαίτερα σε πεδία όπου η έγκαιρη και ακριβής διάγνωση φυτοπαθολογιών μπορεί να μειώσει σημαντικά, τόσο τις απώλειες στην παραγωγή, όσο και τη χρήση φυτοφαρμάκων. Στη παρούσα διπλωματική εργασία, επικεντρωνόμαστε στην ανάπτυξη ενός συστήματος ικανού να αναγνωρίζει ασθένειες που προσβάλλουν τα φυτά, με βάση φωτογραφίες των φύλλων τους και να προτείνει τρόπους αντιμετώπισης. Η προτεινόμενη αρχιτεκτονική αποτελείται από τρία βασικά στάδια. Αρχικά, αξιοποιείται μια σειρά από οπτικά μοντέλα για τον εντοπισμό του φύλλου, την ανίχνευση περιοχών με ενδείξεις προσβολής και την ταξινόμηση της πιθανής ασθένειας. Στο επόμενο στάδιο, ένα σύστημα tool calling επιτρέπει σε ένα γλωσσικό μοντέλο να επιλέξει και να ενεργοποιήσει τα κατάλληλα εργαλεία, εμπλουτίζοντας τη διαγνωστική διαδικασία. Τέλος, το σύστημα συνθέτει μία τεκμηριωμένη και ολοκληρωμένη απάντηση, στην οποία παρουσιάζονται, τόσο η αναγνωρισμένη ασθένεια, όσο και οι προτεινόμενοι τρόποι αντιμετώπισής της. Κατά τη διάρκεια της πειραματικής διαδικασίας, χρησιμοποιήθηκαν μοντέλα YOLO για την ανίχνευση και ταξινόμηση εικόνων, τα οποία εκπαιδεύτηκαν σε ειδικά διαμορφωμένα σύνολα δεδομένων, βασισμένα σε αναγνωρισμένα δημόσια datasets του χώρου της έξυπνης γεωργίας, όπως τα PlantVillage και PlantDoc. Παράλληλα, αναπτύχθηκαν συστήματα Retrieval-Augmented Generation (RAG) για την ανάκτηση πληροφοριών σχετικά με μεθόδους αντιμετώπισης των ασθενειών, ενώ πραγματοποιήθηκε και fine-tuning σε vision-language models για την ενίσχυση της ακρίβειας στην αναγνώριση φυτοπαθολογιών.
Abstract
Modern agriculture is called to respond to the increasing needs for food production, while at the same time maintaining its sustainability and efficiency. This challenge makes necessary the exploitation of advanced technologies, such as computer vision and modern large language models, especially in fields where timely and accurate diagnosis of phytopathologies can significantly reduce both production losses and the use of pesticides. In the present diploma thesis, we focus on the development of a system capable of recognizing diseases that affect plants, based on pictures of their leaves. The proposed architecture consists of three basic stages. Initially, a series of visual models is utilized for the detection of the leaf, the identification of areas with signs of infection, and the classification of the possible disease. In the next stage, a tool calling system allows a language model to select and activate the appropriate tools, enriching the diagnostic process. Finally, the system composes a documented and complete answer, in which both the recognized disease and the proposed ways of addressing it are presented. During the experimental process, YOLO models were used for the detection and classification of images, which were trained on specially configured datasets, based on recognized public datasets in the field of smart agriculture, such as PlantVillage and PlantDoc. At the same time, Retrieval-Augmented Generation (RAG) systems were developed for the retrieval of information regarding methods for dealing with the diseases, while fine-tuning was also carried out on vision-language models to enhance accuracy in the recognition of phytopathologies.
Meeting ID: 91779313093
Password: 579748
