Недообучение (underfitting) – это ситуация, когда модель машинного обучения получается слишком простой и не может уловить закономерности в данных. Алгоритм работает плохо как на тех данных, на которых он учился, так и на любых новых. Вы тратите время и вычислительные ресурсы, а на выходе получаете систему, которая выдает случайные или примитивные прогнозы.
| Что разберем | Что это даст на практике |
| Как распознать недообучение по метрикам | Сможете быстро понять, в чем проблема, просто взглянув на графики ошибок |
| Причины и способы решения | Получите конкретные шаги: что менять в коде, архитектуре или данных |
| Отличие недообучения от переобучения | Перестанете путать два полярных состояния и применять неверные методы лечения |
| Частые ошибки при исправлении | Не сломаете модель окончательно, пытаясь сделать ее сложнее |
Как точно распознать недообучение
Недообучение диагностируется исключительно по поведению метрик ошибки (или точности) во время тренировки алгоритма. Вам нужно смотреть на два показателя: ошибку на тренировочной выборке (train loss) и ошибку на проверочной выборке (validation loss).
Признаки того, что ваша модель недообучилась:
- Высокая ошибка на старте и отсутствие улучшений. График ошибки быстро выходит на плато (становится плоским) на неприемлемо высоком уровне.
- Одинаково плохие результаты на всех данных. Ошибка на тренировочной выборке примерно равна ошибке на валидационной, и обе они не соответствуют вашим бизнес-требованиям.
- Примитивные предсказания. В задачах регрессии модель предсказывает одно и то же среднее значение для любых входных данных. В задачах классификации – всегда выбирает самый частый класс.
Главные причины недообучения и алгоритмы их устранения
Недообучение не возникает само по себе. Это всегда результат несоответствия сложности задачи и выбранного инструмента. Ниже разобраны четыре главные причины и действия по их исправлению.
1. Модель слишком простая для ваших данных
Вы пытаетесь описать сложную нелинейную зависимость линейным алгоритмом. Пример: вы прогнозируете цены на квартиры в Москве, используя только линейную регрессию, хотя цена зависит от района, этажа, ремонта и удаленности от метро нелинейно.
Что делать:
- Смените тип алгоритма. Перейдите от линейных моделей (Linear Regression, Logistic Regression) к древовидным (Random Forest, Gradient Boosting) или нейросетям.
- Усложните текущую архитектуру. Если используете нейросеть, добавьте скрытые слои или увеличьте количество нейронов в существующих слоях. Если используете деревья решений – увеличьте максимальную глубину дерева (max_depth).
2. Избыточная регуляризация
Регуляризация (L1, L2, Dropout) нужна, чтобы модель не заучивала данные наизусть. Но если выкрутить эти параметры слишком сильно, алгоритм теряет способность учиться вообще. Модель «боится» менять веса, чтобы не получить штраф от функции регуляризации.
Что делать:
- Уменьшите коэффициенты штрафа (alpha или lambda) для L1/L2 регуляризации.
- Снизьте параметр Dropout в нейросетях (например, с 0.5 до 0.2 или 0.1).
- Если используете раннюю остановку (Early Stopping), проверьте, не срабатывает ли она слишком рано из-за жестких настроек терпения (patience).
3. Недостаток времени на обучение
Алгоритму просто не хватило времени, чтобы добраться до оптимальных значений весов. Это часто происходит при обучении тяжелых нейросетей на слабых видеокартах, когда разработчик искусственно ограничивает процесс.
Что делать:
- Увеличьте количество эпох обучения (epochs).
- Проверьте скорость обучения (learning rate). Если она слишком маленькая, модель будет учиться бесконечно долго. Попробуйте немного увеличить этот параметр или использовать адаптивные оптимизаторы (например, Adam вместо классического SGD).
4. Данные не содержат нужной информации
Сам алгоритм настроен верно, но входные данные (признаки) не имеют связи с тем, что вы пытаетесь предсказать. Или эта связь скрыта в сыром виде данных.
Что делать:
- Проведите Feature Engineering (генерацию признаков). Создайте новые переменные на основе старых. Например, вместо сырой «даты рождения» передайте модели возраст, а вместо «координат» – расстояние до центра города.
- Проверьте качество разметки. Если в данных много шума или целевая переменная размечена с ошибками (человеческий фактор), ни одна модель не сможет найти закономерность.
Как отличить недообучение от переобучения
Это базовая развилка. Если вы перепутаете эти два состояния, ваши действия сделают только хуже.
| Состояние | Ошибка на тренировке (Train) | Ошибка на валидации (Val) | Суть проблемы |
| Недообучение | Высокая | Высокая | Модель слишком глупая. Не видит закономерностей. |
| Переобучение | Очень низкая | Высокая | Модель зазубрила ответы. Не умеет обобщать на новых данных. |
| Норма | Низкая | Низкая (чуть выше Train) | Модель нашла реальные правила и работает стабильно. |
Частые ошибки при исправлении недообучения
При попытке заставить модель учиться лучше разработчики часто совершают действия, которые тратят бюджет или ломают пайплайн.
Ошибка: Добавлять больше данных.
Если модель недообучена, увеличение объема обучающей выборки не поможет. Простая модель уже не справляется с текущим объемом информации. Новые данные лишь увеличат время обучения, но график ошибки останется плоским. Сначала нужно усложнить алгоритм, и только потом, если начнется переобучение, добавлять данные.
Ошибка: Слепое копирование тяжелых архитектур.
Взять самую глубокую нейросеть из последних научных статей для табличной задачи на 500 строк – плохая идея. Вы мгновенно проскочите этап нормального обучения и получите жесткое переобучение. Усложняйте модель итеративно: от простого к сложному.
Ошибка: Игнорирование нормализации данных.
Иногда алгоритму хватает сложности, но он не может сойтись из-за разного масштаба признаков (например, зарплата в сотнях тысяч рублей и возраст в десятках лет). Прежде чем менять архитектуру нейросети, убедитесь, что вы применили StandardScaler или MinMaxScaler к числовым признакам.
Ограничения: когда плохие метрики – это не проблема модели
Есть ситуации, когда графики выглядят как классическое недообучение, но пытаться усложнять алгоритм бесполезно.
Теоретический предел задачи. Не все процессы в мире можно описать данными. Если вы пытаетесь предсказать точное движение курса акций на основе новостей из открытых источников, модель всегда будет показывать высокую ошибку. В данных просто нет достаточного сигнала для точного прогноза. Это не недообучение алгоритма, это ограничение самих данных.
Утечка целевой переменной в обратную сторону. Если при формировании датасета вы случайно удалили главный признак, по которому принимается решение в реальной жизни, модель упрется в потолок. Усложнение архитектуры здесь не поможет – нужно возвращаться к этапу сбора данных и искать недостающую информацию.
