Как написать курсовую по машинному обучению: подготовить данные, выбрать baseline и модели, настроить валидацию, проверить метрики, переобучение и устойчивость.
Степан Сергеев6 мин чтенияКурсовая по машинному обучению оценивается не по тому, насколько современно звучит название модели. Главный вопрос намного практичнее: насколько честно поставлен эксперимент и можно ли ожидать, что результат сохранится на новых данных.
Самая опасная ошибка в такой работе - получить высокую метрику не из-за хорошей модели, а из-за неправильного разделения данных, утечки признаков или подбора параметров на test-наборе.
Определите:
Последний пункт особенно важен.
Если модель должна предсказывать событие заранее, нельзя использовать признаки, которые становятся известны только после события.
Разделите классификацию, регрессию, ранжирование, кластеризацию, прогноз временного ряда и поиск аномалий.
Для каждой задачи нужны свои метрики и дизайн эксперимента.
Не используйте классификационные показатели для регрессии только потому, что они знакомы.
Сделайте аудит.
Проверьте:
До первой модели нужно понять, что именно лежит в таблице.
Дубликаты могут сильно завышать качество.
Если одинаковая запись попала в train и test, модель фактически увидела ответ заранее.
Особенно опасны почти дубли: повторные снимки, несколько событий одного пользователя, строки одного документа.
Разделение должно учитывать структуру данных.
Если на одного клиента приходится несколько записей, обычный случайный split может быть неправильным.
Тогда полезно разделять по клиентам.
Для медицинских изображений - по пациентам.
Для документов - по источникам.
Иначе test перестаёт быть независимым.
Для прогноза будущего случайное перемешивание часто недопустимо.
Обучайте на прошлом, проверяйте на более позднем периоде.
Такой split лучше имитирует реальное использование.
Не позволяйте будущей информации попадать в прошлое.
Baseline должен быть простым и содержательным.
Например:
Если сложный алгоритм не превосходит baseline, это важный результат.
Не прячьте его.
Соберите её в единый pipeline.
Туда могут входить заполнение пропусков, scaling, encoding и feature selection.
Главное правило: все параметры обучаются только на train.
Нельзя заранее нормализовать весь датасет, а потом делить.
Варианты кодирования:
Target encoding особенно чувствителен к утечке.
Если он используется, расчёт должен выполняться внутри корректной валидации.
Не заполняйте все пропуски нулём автоматически.
Ноль может быть реальным значением.
Выберите подход:
Иногда сам факт пропуска является информативным признаком.
Оно важно для моделей, чувствительных к масштабу:
Для дерева решений оно обычно не является центральным требованием.
Не применяйте preprocessing по привычке.
Не используйте test-набор для отбора.
Feature selection должен происходить внутри train и validation.
Иначе информация о test косвенно попадает в модель.
Сравните несколько разумных классов.
Например:
Не обязательно включать десять алгоритмов.
Лучше три модели с понятным сравнением.
Она помогает оценить вариативность.
Но схема CV должна соответствовать данным.
Для временного ряда обычный KFold с перемешиванием может быть ошибкой.
Для группированных данных нужен group-based split.
Метод валидации важнее количества фолдов.
Настраивайте на validation или внутри CV.
После выбора параметров test используется один раз для итоговой оценки.
Не возвращайтесь к test после каждой неудачной модели.
Это превращает test в дополнительный validation.
При дисбалансе смотрите не только accuracy.
Полезны precision, recall, F1, PR-AUC и ROC-AUC.
Выбор зависит от цены ошибки.
Не создавайте одну сводную метрику без объяснения.
Она показывает структуру ошибок.
Особенно полезна для многоклассовой задачи.
Можно увидеть, какие классы модель путает.
Это часто даёт больше пользы, чем одна итоговая цифра.
Для регрессии используйте показатели типа MAE, RMSE и R2.
MAE проще интерпретировать в единицах цели.
RMSE сильнее штрафует большие ошибки.
Покажите, почему выбран конкретный показатель.
График ошибки по прогнозу помогает увидеть систематическую проблему.
Например, модель может недооценивать большие значения, хуже работать на одной группе или иметь нелинейную ошибку.
Не ограничивайтесь средним RMSE.
Сравните train и validation.
Если разрыв большой, попробуйте регуляризацию, уменьшение глубины, больше данных или раннюю остановку.
Не лечите переобучение только добавлением ещё более сложной модели.
Постройте качество в зависимости от объёма train.
Если validation продолжает улучшаться с ростом данных, сбор дополнительных примеров может быть полезнее нового алгоритма.
Это содержательный вывод.
Для дерева или ансамбля можно смотреть важность.
Но простая impurity importance может быть смещённой.
Используйте подход осознанно.
Не называйте важность признаком причинности.
0,5 не является универсальным.
Выберите порог по задаче.
Можно оптимизировать recall, precision или стоимость ошибок.
Но делайте это на validation, а не test.
Варианты:
Любой resampling должен применяться только к train.
Нельзя балансировать весь датасет до split.
Проверьте модель на нескольких seed.
Если результат сильно прыгает, один удачный запуск не доказывает качество.
Покажите среднее и разброс.
Если данные во времени меняются, модель может деградировать.
Для курсовой достаточно проверить два периода.
Если качество заметно падает на более новых данных, это важное ограничение.
Сохраните pipeline, seed, параметры, версии библиотек, split и код.
Не полагайтесь на ручную последовательность действий в ноутбуке.
Покажите:
1. задачу;
2. split;
3. baseline;
4. модели;
5. метрику;
6. test;
7. анализ ошибок.
Курсовая по машинному обучению выглядит профессионально тогда, когда итоговая метрика получена честным способом, а автор понимает не только как обучить модель, но и где эксперимент может ввести в заблуждение.
Кандидат физико-математических наук, PhD. Лично разбираю требования, веду работу по этапам и остаюсь на связи до защиты.
Подробный чек-лист перед отправкой учебной работы: структура, ссылки, таблицы, выводы, оформление, файл и сопроводительное сообщение.
Как выбрать тему курсовой работы: проверить доступность источников и данных, сузить объект, оценить сложность и согласовать формулировку с преподавателем.
Как писать курсовую по международным отношениям в МГИМО: сузить вопрос, собрать первичные документы и данные, сравнить позиции акторов и альтернативы.
