Применение LLM на примере ChatGPT,, DeepSeek, Grok для оценивания работ студентов

В статье рассматриваются возможности применения больших языковых моделей (LLM), таких как ChatGPT, DeepSeek и Grok, в задачах оценивания студенческих работ. Автор проводит качественный анализ результатов, полученных с помощью ChatGPT, в сравнении с преподавательскими оценками, с акцентом на выявление сильных и слабых сторон автоматизированного подхода. Обсуждаются потенциальные преимущества использования LLM – скорость обработки, соблюдение критериев, масштабируемость – а также ограничения, связанные с оценкой креативности и глубины анализа. Отдельное внимание уделено применимости различных моделей в зависимости от типа задания (текст, код) и специфики дисциплины. Работа носит обзорно-аналитический характер и может послужить отправной точкой для дальнейших исследований в области цифровизации образовательной оценки и интеграции LLM в учебный процесс.

1. Perera Perera, R., Lankathilaka, M. Evaluating the efficacy of ChatGPT in automated essay scoring. Journal of Educational Technology & Society, 2024, 27(1), 1-15.

2. Holmes, W., Bialik, M., Fadel, C. Artificial Intelligence in Education: Promises and Implications for Teaching and Learning. Center for Curriculum Redesign, 2023.

3. Kasneci, E., Sefiler, K., Kuchemann, S., Bannert, M., Dementieva, D., Fischer, F., ... Kasneci, G. ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 2023, 103, 102274

4. Смирнов, В.А. Использование больших языковых моделей в образовании: обзоры и перспективы // Вестник образования. - 2020. - № 5(12). - С. 45-62.

5. Петрова, О.С. Оценка студенческих эссе: сравнительный анализ традиционных методов и автоматизированных подходов. // Вопросы педагогики. - 2021. - № 28(3). - С. 112-130.

6. Козлов, Д.Ю. Искусственный интеллект в образовании: этические аспекты и вызовы. // Философия образования. - 2022. - № 15(2). - С. 78-95.

7. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Amodei, D. Language models are few-shot learners. Advances in neural in formation processing systems, 33, 2020 1877-1901.

8. Floridi, L., & Chiriatti, M. GPT-3: Its nature, scope, limits, and implications Minds and Machines , 30(3), 2020, 683-694.

9. Holmes, W., Bialik, M., & Fadel, C. Artificial Intelligence in Education: Promises and Implications for Teaching and Learning. Center for Curriculum Redesign . 2023.

10. Баррат, Д. Последнее изобретение человечества: искусственный интеллект и конец эры Homo sapiens / Джеймс Баррат; [пер. с англ. Наталья Лисова]. - 2-е издание. - Москва: АНФ, 2019. - 396 с.

11. Доэрти, П. Человек + машина. Новые принципы работы в эпоху искусственного интеллекта / П. Доэрти, Дж. Уилсон; пер. с англ. О. Сивченко, Н. Яцюк. - М.: Манн, Иванов и Фербер, 2019. - 298 с.