GPT-3.5 para la Nivelación de ELE en un Entorno Universitario: Un Estudio Comparativo de Zero-shot Learning y Fine-tuning

Texto completo

El proceso de nivelación de estudiantes extranjeros en cursos de español como lengua extranjera (ELE) es fundamental para garantizar una enseñanza acorde con sus competencias lingüísticas. Actualmente, la nivelación se realiza mediante la evaluación manual de pruebas iniciales de vocabulario, escritura, comprensión oral y comprensión escrita, lo que supone una alta carga de trabajo y retrasos en la clasificación, especialmente cuando llega una época con un gran número de estudiantes no nativos del idioma. El presente estudio explora el uso del Procesamiento del Lenguaje Natural (PLN) para automatizar la evaluación de la expresión escrita, investigando la aplicación de GPT-3.5, un modelo del lenguaje con amplio conocimiento del español, para clasificar textos según su nivel ELE. Se implementaron dos enfoques: Zero-shot Learning (ZSL), donde el modelo recibe instrucciones explícitas para identificar y justificar la clasificación de los textos, y un método supervisado, entrenando el modelo con el corpus CAES, que contiene textos nivelados desde A1 hasta C1. La evaluación se realizó con textos extraídos de clases de español para estudiantes extranjeros de una universidad, y los resultados muestran que el entrenamiento supervisado mejora significativamente la precisión del modelo, permitiéndole capturar las diferencias sutiles entre niveles. Los hallazgos destacan la necesidad de continuar investigando para optimizar los sistemas de clasificación automática en ELE y su papel en la nivelación de estudiantes no nativos.

------------

The process of leveling foreign students in Spanish as a Foreign Language (ELE in Spanish) courses is essential to ensure instruction that matches their linguistic competencies. Currently, this leveling is carried out through the manual evaluation of initial tests assessing vocabulary, writing, oral comprehension, and reading comprehension, which entails a high workload and delays in classification, especially with a large number of students. This study explores the use of Natural Language Processing (NLP) to automate the assessment of written expression, investigating the application of GPT-3.5, a large language model with extensive knowledge of Spanish, to classify texts according to their ELE level. Two approaches were implemented: Zero-shot Learning (ZSL), where the model receives explicit instructions to identify and justify the classification of texts, and a supervised method, where the model is trained with the CAES corpus, which contains leveled texts from A1 to C1. The evaluation was conducted using texts from a university environment (anonymized for review), and the results show that supervised training significantly improves the model's accuracy, enabling it to capture subtle differences between levels. These findings highlight the need for continued research to optimize automatic classification systems in ELE and their role in leveling non-native students.