Автоматическая проверка надёжна там, где ответ однозначен. На развёрнутом ответе система оценивает скорее форму, чем мысль, и полагаться на неё нельзя.
Что нужно знать
- Адаптивная система строит траекторию по результатам: сложность растёт и падает вслед за успехами.
- Проверка заданий с однозначным ответом надёжна; проверка развёрнутого ответа — нет.
- На свободном тексте модель оценивает признаки формы (длину, связность, наличие терминов), а не глубину мысли.
- Творческую работу оценивает человек; автоматическая оценка может быть только вспомогательной.
- Данные об успеваемости — персональные данные конкретного ребёнка, а не обезличенная статистика.
- Прозрачность: ученик должен знать, что и по каким признакам оценивает система.
- Система, обученная на данных одной школы, в другой может работать хуже.
Где чаще всего ошибаются
- Доверяют автоматической оценке сочинения.
- Считают данные об оценках обезличенными.
- Скрывают от ученика, что его оценивает алгоритм.
- Переносят систему в другие условия без проверки.
Проверить себя
По этой же главе есть проверочная работа из 11 заданий на 25 минут. Проверка автоматическая, результат виден сразу — и по работе целиком, и по каждой теме.
Искусственный интеллект · 8 класс · Курс ИИ, 2024 · Образовательные системы на основе ИИ