Abstract

Writing is an essential skill for students to master. Nevertheless, it remains the most challenging of the four language skills for many due to various factors, including infrequent writing assignments and inadequate feedback tools. Consequently, there is a pressing need to develop more effective methods for supporting students' writing skill development. In this thesis, the aim is to apply deep learning techniques to automated essay scoring and improve the feedback provided by existing tools. To achieve this aim, this study’s main objective is to compare the predictions made by different deep learning models to identify the most effective approach for evaluating student writing and providing valuable feedback. By evaluating six analytical measures (cohesion, syntax, vocabulary, phraseology, grammar, and conventions), this approach offers a comprehensive assessment of student writing, fostering improved writing skills among English language learners. The dataset consists of argumentative essays written by 8th-12th grade English language students, available on Kaggle. These essays are scored based on the six analytical measures mentioned earlier. We evaluate our findings using multiple evaluation metrics, such as R2, MSE, RMSE, MAE, and MAPE, with RMSE as the primary evaluation metric. Our results demonstrate that DeBERTa-v3-large consistently outperforms other models across most analytical measures, while XML-RoBERTa-base and XML-RoBERTalongformer-base lag behind in terms of overall performance. This indicates that DeBERTa-v3-large is more effective in evaluating student writing and providing valuable feedback. In conclusion, deep learning techniques, mainly using the DeBERTa-v3-large model, show great potential in improving automated essay scoring and feedback for students. The findings suggest that leveraging such models can lead to enhanced feedback tools, which can in turn generate personalized writing tasks and foster improved writing skills among English language learners.

Temesgen Mikael, Zayed University

Name of Guide/supervisor

Mohd Nazir

Year of awarding

2023

Keywords

Automated Essay Scoring (AES), Deep Learning, DeBERTa-v3-large

Arabic Abstract

الكتابة هي مهارة أساسية يجب أن يتقنها الطلاب، ومع ذلك، فإنها لاتزال المهارة الأصعب بالنسبة للعديد من الطلاب بسبب عوامل مختلفة، بما في ذلك الواجبات الكتابية النادرة وادوات التغذية الراجعة غير الكافية. وبالتالي، هناك حاجة ملحّة لتطوير طرق أكثر فعالية لدعم مهارات المتابة لدى الطلاب. في هذه الرسالة، الهدف هو تطبيق تقنيات التعلم العميق على تقييم المقالات التلقائي وتحسين التغذية الراجعة المقدمة من أدوات موجودة. ولتحقيق هذا الهدف، المقصد الرئيسي من هذه الدراسة هو مقارنة التوقعات التي يتم إجراؤها بواسطة نماذج مختلفة للتعلم الآلي لتحديد النهج الأكثر فعالية لتقييم كتابة الطالب وتوفير تعليقات قيمة. من خلال تقييم ستة مقاييس تحليلية الاتصال، النحو، المفردات، الصياغة، القواعد النحوية والمعاييرتقدم هذه الطريقة تقييما شاملا لكتابة الطلاب، طلاب لغة إنجليزية من الصف الثامن عشر، متاحة على منصة Kaggle يتم تسجيل هذه المقالات بناء على التدابير التحليلية الستة المذكورة سابقا. نقوم بتقييم النتائج التي توصلنا إليها باستخدام مقاييس تقييم متعددة، مثل : MAE، RMSE، MSE، R2، MAPE، مع اعتبار RMSE المقياس الأساسي. أظهرت النتائج أن نموذج DeBERTa-v3-large يتفوّق باستمرار على النماذج الأخرى مثل RoBERTa-XML-base و RoBERTa-XML-base-longformer عبر معظم المقاييس التحليلية، من حيث الأداء العام. يشير ذلك إلى أن DeBERTa-v3-large أكثر فعالية في تقييم كتابة الطلاب، مما يقدم تعليقات قيمة للطلبة. وبما أن تقنيات التعلم العميق تُستخدم بشكل أساسي في هذا المجال، فإن النتائج تشير إلى أن مثل هذه النماذج، بما في ذلك DeBERTa-v3-large، لها إمكانات كبيرة في تحسين درجات المقالات المستلمة وأدوات التغذية الراجعة الآلية للطلبة، مما قد يؤدي إلى فائدة ملموسة في تطوير مهاراتهم.

Arabic Keywords

تقييم المقالات التلقائي(AES)، التعلم العميق، التعلم الآلي، large3-v-DeBERTa

Download

Share

COinS