Курсовая по искусственному интеллекту в МГТУ им. Баумана должна показывать не только факт использования нейросети, но и полный экспериментальный цикл: постановку задачи, данные, baseline, обучение, независимую проверку и анализ ошибок.
В МГТУ им. Н.Э. Баумана искусственный интеллект представлен в актуальных образовательных траекториях. Например, кафедра ИУ5 публикует программу «Искусственный интеллект в системах обработки информации и управления» в рамках направления 09.03.01 «Информатика и вычислительная техника».
Официальная страница:
https://iu5.bmstu.ru/
Начните с задачи
Плохо:
«Использование нейронных сетей».
Сильнее:
«Классификация дефектов поверхности по изображениям с оценкой recall для редкого класса».
Или:
«Прогноз отказа узла по временным рядам датчиков».
В теме должны быть:
- объект;
- данные;
- задача;
- метрика.
Определите тип задачи
Это может быть:
- классификация;
- регрессия;
- сегментация;
- detection;
- clustering;
- ranking;
- forecasting.
Не выбирайте архитектуру до определения типа задачи.
Целевая переменная
Для supervised learning нужно ясно понимать, что считается правильным ответом.
Например:
- класс дефекта;
- срок до отказа;
- вероятность события;
- координаты объекта.
Если label ненадёжен, метрика модели тоже ненадёжна.
Разметка
Опишите:
- кто размечал;
- по какому правилу;
- сколько объектов;
- спорные случаи.
Не используйте label, происхождение которого неизвестно.
Согласие экспертов
Если разметка субъективна, полезно оценить согласованность нескольких экспертов на части данных.
Это показывает качество target.
Модель не может стабильно превзойти противоречивую разметку без дополнительных оснований.
Train, validation, test
Разделите данные до подбора модели.
Train:
- обучение.
Validation:
- выбор гиперпараметров.
Test:
- финальная оценка.
Не смотрите test после каждой итерации.
Data leakage
Утечка часто возникает незаметно.
Например:
- один объект попадает и в train, и в test;
- нормализация рассчитана по всему набору;
- будущее значение используется при прогнозе прошлого.
Метрика становится завышенной.
Групповой split
Если у одного пациента, детали или пользователя несколько строк, обычный random split может создать утечку.
Разделяйте по сущности.
Это особенно важно для изображений и временных рядов.
Временной split
Для прогнозирования будущее должно быть после прошлого.
Не перемешивайте временной ряд случайно, если модель предназначена для реальной эксплуатации.
Baseline
Без baseline непонятно, полезна ли сложная модель.
Примеры:
- majority class;
- линейная регрессия;
- logistic regression;
- простое правило;
- предыдущий период.
Сначала победите простой ориентир.
Метрика
Accuracy подходит не всегда.
Для редкого дефекта модель, всегда говорящая «нет дефекта», может иметь 99% accuracy.
Но recall дефекта будет 0.
Выбирайте метрику по цене ошибки.
Precision и recall
Если ложное срабатывание дорого, важен precision.
Если опасно пропустить дефект, важен recall.
Объясните бизнес или инженерный смысл.
F1
F1 балансирует precision и recall, но предполагает, что они одинаково важны.
Если цена ошибок различна, одной F1 недостаточно.
Confusion matrix
Покажите:
- TP;
- FP;
- FN;
- TN.
Это помогает объяснить, где модель ошибается.
Не ограничивайтесь одной итоговой цифрой.
ROC-AUC
ROC-AUC полезен, но при сильном дисбалансе может выглядеть оптимистично.
Дополните PR-AUC и конкретным operating point, если это важно.
Threshold
Для вероятностной модели порог 0,5 не является обязательным.
Выберите threshold по:
- recall;
- precision;
- стоимости ошибки.
Покажите компромисс.
Regression
Для регрессии можно использовать:
- MAE;
- RMSE;
- R².
RMSE сильнее штрафует большие ошибки.
MAE проще интерпретируется.
Выбор должен соответствовать задаче.
Time series
Для временного ряда сравните с простыми baseline:
- last value;
- moving average;
- seasonal naive.
Если сложная модель не лучше простого прогноза, это важный вывод.
Предобработка
Все преобразования должны обучаться только на train:
- scaling;
- imputation;
- encoding;
- feature selection.
Лучше оформить pipeline.
Пропуски
Не заменяйте всё нулём автоматически.
Ноль может быть реальным значением.
Разберите механизм пропуска и выберите метод.
Категории
Для категориальных признаков подумайте о:
- one-hot;
- target encoding;
- embedding.
Target encoding особенно чувствителен к leakage.
