Курсовая по искусственному интеллекту в МФТИ: dataset, baseline, метрики и анализ ошибок

Курсовая по искусственному интеллекту в МФТИ имеет прямой актуальный контекст. В правилах приёма 2026 года ФПМИ указывает программу AI360 «Передовые методы искусственного интеллекта» в рамках направления 01.03.02 «Прикладная математика и информатика». На ФПМИ также действует специализация по фундаментальным методам искусственного интеллекта.

Официальные страницы:
https://pk.mipt.ru/bachelor/2026_rules/
https://cogmodel.mipt.ru/applicants

Начните с вопроса, а не с нейросети

Плохо:

«Применение нейронных сетей для изображений».

Сильнее:

«Как меняется recall редкого класса при использовании class weighting и focal loss на dataset X?»

Теперь модель используется для проверки гипотезы.

Dataset

Опишите:

• источник;
• размер;
• классы;
• период;
• лицензию;
• особенности.

Не ограничивайтесь названием Kaggle. Исследователь должен понимать происхождение данных.

Разметка

Если label создавали люди, покажите инструкцию, число экспертов и спорные случаи.

Плохой ground truth ограничивает максимум качества.

Split

До обучения разделите:

• train;
• validation;
• test.

Test используется для финальной оценки. Если смотреть его после каждой модели, он превращается в validation.

Group split

Если несколько изображений одного объекта или записи одного пациента, разделяйте по объекту.

Иначе похожие данные окажутся с обеих сторон, и метрика будет завышена.

Time split

Для прогнозирования будущего test должен быть позже train.

Случайное перемешивание временного ряда может давать утечку.

Leakage

Проверяйте:

• preprocessing;
• target-derived features;
• future information;
• duplicate objects.

Leakage часто опаснее выбора архитектуры.

Baseline

Сначала простой ориентир:

• majority;
• logistic regression;
• random forest;
• previous value;
• heuristic.

Сложная нейросеть должна доказать добавленную ценность.

Метрика по задаче

Для редкого класса accuracy почти бесполезна.

Используйте:

• precision;
• recall;
• F1;
• PR-AUC.

Для regression:

• MAE;
• RMSE.

Не выбирайте метрику после просмотра результата.

Цена ошибки

Если пропущенный дефект опасен, recall важнее.

Если ложная тревога дорога, нужен precision.

Покажите прикладной смысл.

Confusion matrix

Покажите TP, FP, FN и TN.

Это помогает увидеть, где модель ошибается.

Не ограничивайтесь одной итоговой цифрой.

Threshold

Вероятностный classifier позволяет менять порог.

Постройте precision-recall и выберите operating point по задаче.

0,5 не является обязательным.

Calibration

Если вероятность используется для решения, проверьте calibration.

Модель, говорящая 0,9, должна примерно соответствовать реальной частоте успеха.

Class imbalance

Варианты:

• class weights;
• sampling;
• threshold;
• focal loss.

Oversampling делайте только внутри train. Не дублируйте test.

Data augmentation

Для изображений augmentation должен сохранять label.

Переворот дорожного знака, например, может изменить смысл.

Не используйте трансформации автоматически.

Pretrained model

Если используется transfer learning, укажите backbone, weights, frozen layers и fine-tuning.

Не называйте готовую архитектуру собственной разработкой.

Hyperparameters

Задайте пространство поиска:

• lr;
• depth;
• batch;
• regularization.

Используйте validation.

Не подбирайте параметры на test.

Cross-validation

Полезна при малых данных.

Но fold должен учитывать group, time и class.

Обычный KFold подходит не всегда.

Reproducibility

Зафиксируйте:

• seed;
• split;
• code commit;
• package versions;
• GPU.

Некоторые операции остаются недетерминированными, это тоже можно указать.

Error analysis

Возьмите ошибки и классифицируйте причины:

• плохое качество;
• необычный случай;
• label noise;
• ambiguity;
• domain shift.

После этого становится понятно, куда улучшать модель.

Label noise

Иногда модель «ошиблась», потому что label неправильный.

Проверьте несколько уверенных конфликтов.

Не исправляйте test-разметку только ради повышения метрики без прозрачного правила.

Domain shift

Train и реальная эксплуатация могут различаться:

• другой датчик;
• другой период;
• новая камера;
• другая организация.

Проведите дополнительный test, если доступно.

Robustness

Добавьте noise, blur, missing values или другое разумное возмущение.

Смотрите, где качество резко падает.

Модель для реального мира должна выдерживать нормальный диапазон условий.

OOD

Out-of-distribution пример может быть совершенно не похож на train.

Высокий softmax не гарантирует, что объект знаком модели.

Обсудите это ограничение.

Explainability

SHAP, saliency и другие методы помогают анализировать модель.

Но важность признака не означает причинность.

Пишите: «модель опирается на признак», а не «признак вызывает результат».

LLM

Если тема про языковую модель, создайте benchmark:

• factual QA;
• summarization;
• classification;
• code.

Сформируйте rubric.

Не выбирайте только красивые примеры ответов.

Prompt

Версия prompt является частью эксперимента.

Зафиксируйте system prompt, examples, temperature и model version.

Иначе сравнение невоспроизводимо.

RAG

Разделите retrieval quality и answer quality.

Сначала измерьте, нашёл ли retriever нужный документ.

Если нет, generation не может исправить источник.

Hallucination

Создайте набор вопросов с известным ответом.

Кодируйте:

• correct;
• unsupported;
• wrong.

Не оценивайте галлюцинации впечатлением.

Computer vision

Для detection нужны IoU и mAP.

Для segmentation:

• IoU;
• Dice.

Метрика зависит от задачи.

Time series

Сравните с seasonal naive.

Сложная модель должна обгонять простой прогноз на честном time split.

Reinforcement learning

Один successful episode не доказывает качество.

Покажите mean return, variance и несколько seeds.

Reward должен отражать реальную цель.

Вычислительная стоимость

Сравните training time, inference latency и memory.

Улучшение F1 на 0,2% может не оправдывать десятикратный inference.

Deployment

Если модель часть системы, задайте throughput, p95 и model size.

Не заканчивайте проект только notebook, если заявлено внедрение.

Практическая глава

Схема:

1. задача;
2. dataset;
3. split;
4. baseline;
5. model;
6. metrics;
7. errors;
8. robustness;
9. computational cost;
10. limitations.

Контекст МФТИ

В 2026 году AI360 и фундаментальные методы ИИ являются реальными элементами ФПМИ. Поэтому курсовая может быть достаточно математической и экспериментальной.

Сильный текст не маскирует слабый эксперимент сложностью модели.

Защита

Будьте готовы показать split, baseline, confusion matrix, несколько ошибок, threshold, robustness и вычислительную стоимость.

Сильная курсовая по ИИ в МФТИ отвечает не на вопрос «какая нейросеть моднее», а на вопрос «какой метод объективно лучше решает конкретную задачу на честном тесте».