У модели два вида ошибок, и уменьшить оба сразу нельзя. Выбирают, какая ошибка дороже, — и в медицине это почти всегда пропуск, а не ложная тревога.
Что нужно знать
- Ошибка первого рода — ложная тревога; ошибка второго рода — пропуск.
- Снизить один вид ошибок можно только за счёт роста другого: порог сдвигается в ту или иную сторону.
- Порог выбирают по ЦЕНЕ ошибки: в медицине пропуск обычно опаснее ложной тревоги.
- Одной «точности» недостаточно: при редкой болезни модель, всегда отвечающая «здоров», покажет высокую точность и будет бесполезна.
- Поэтому используют показатели полноты и точности по классу отдельно.
- Модель наследует ошибки разметки: если врачи размечали неверно, модель выучит ошибку.
- Обученная на данных одной больницы модель на другом оборудовании может работать хуже.
Где чаще всего ошибаются
- Оценивают модель одной лишь точностью.
- Думают, что можно убрать оба вида ошибок сразу.
- Забывают про редкость заболевания при оценке качества.
- Переносят модель на другие условия без повторной проверки.
Проверить себя
По этой же главе есть проверочная работа из 11 заданий на 25 минут. Проверка автоматическая, результат виден сразу — и по работе целиком, и по каждой теме.
Искусственный интеллект · 8 класс · Курс ИИ, 2024 · Медицинские данные и качество моделей