20.500.12556/DiRROS-30956 Can AI-assisted Essay Assessment Support Teachers? A Cross-sectional Mixed-methods Research Conducted at the University of Montenegro Può la valutazione dei saggi con l’aiuto dell’intelligenza artificiale sostenere gli insegnanti? Uno studio trasversale con l’uso di metodi misti condotto presso l’Università del Montenegro In this study, we will try to answer the question if an AI language model can provide teachers with essay assessment solutions that are on a par with the solutions provided by experienced professors. We designed a study with the aim of comparing the essay assessment outputs of the AI language model and three of our colleagues working at the University of Montenegro. The main aim of this paper is to investigate if this AI language model can be a viable teachers’ assistance tool that provides immediate and meaningful feedback to teachers and students. Our hypothesis is, with some caveats, that the AI language model is more than a viable and useful tool, capable of providing meaningful and immediate feedback, greatly reducing the assessment time, and thus helping the teachers become more efficient and consistent. We will compare the results of 78 essays assessed by three teachers with the results provided by ChatGPT and see where the two sets of results converge or diverge in terms of their individual and overall scores. Attraverso questo studio, cercheremo di rispondere alla domanda se il modello linguistico di intelligenza artificiale che abbiamo utilizzato può fornire agli insegnanti una qualità di valutazione dei saggi paragonabile a quella fornita da insegnanti esperti. Abbiamo sviluppato uno studio che confronta i risultati della valutazione dei saggi generati tramite il modello linguistico AI con i risultati della valutazione di tre nostri colleghi che lavorano presso l’Università del Montenegro. L’obiettivo principale di questo studio è determinare se questo modello linguistico di intelligenza artificiale può diventare un utile strumento di supporto, in grado di fornire un feedback immediato e rilevante sia a insegnanti che a studenti. La nostra ipotesi, con alcune riserve, è che il modello linguistico di intelligenza artificiale sia uno strumento più che utile e fruibile, in grado di fornire feedback immediati e rilevanti, riducendo significativamente i tempi di valutazione e aiutando così gli insegnanti a essere più efficienti e coerenti. Confronteremo i risultati di 78 saggi valutati da tre insegnanti con i risultati ottenuti tramite ChatGPT e osserveremo dove i due gruppi di risultati coincidono o differiscono in termini di punteggi individuali e complessivi. ChatGPT automated grading AI language models essay assessment essay feedback assessment metrics natural language processing ChatGPT valutazione automatica modelli linguistici di intelligenza artificiale valutazione del saggio feedback sul saggio metriche di valutazione elaborazione del linguaggio naturale umetna inteligenca ocenjevanje esejev jezikovne tehnologije ChatGPT true false true Angleški jezik Italijanski jezik Imetniki avtorskih pravic na prispevkih so avtorji. CC BY-NC 4.0 Delo ni kategorizirano 2026-07-09 10:08:45 2026-07-09 10:27:24 2026-07-10 03:50:53 0000-00-00 00:00:00 2023 0 0 571-590 3 33 2023 0000-00-00 Zaloznikova Objavljeno NiDoloceno 0000-00-00 0000-00-00 2023-01-01 009, 004.89:37.091.26 1408-5348 10.19233/ASHS.2023.30 201637123 ASHS-33-2023-3_IVANOVIC.pdf ASHS-33-2023-3_IVANOVIC.pdf 1 B305036F19C46B8EE6AF0BA05F141A67 a67c7eec9c90327e79b30717a3d2566a8e68c00ac8c9c02062934331a1ec345b 79fa8622-7b6d-11f1-b663-001a4af901a5 https://dirros.openscience.si/Dokument.php?lang=slv&id=47590 https://publ.zdjp.si/index.php/ashs/issue/view/2 1 74ff00d1-7b6d-11f1-b663-001a4af901a5 https://dirros.openscience.si/Dokument.php?lang=slv&id=47589 Inštitut Irris za raziskave, razvoj in strategije družbe, kulture in okolja 0 0 0