Сколько шагов ставить при обучении LoRA: диапазоны для первых запусков и почему универсального числа нет

Привет! Самый честный короткий ответ такой: для первой LoRA обычно не ищут одно «правильное» число шагов, а работают диапазоном и сохраняют промежуточные версии. На практике первые удачные результаты часто появляются примерно в зоне 1500–4000 шагов, но точка попадания зависит от датасета, repeats, epochs, batch size, скорости обучения и того, что именно вы тренируете: лицо, персонажа, стиль или отдельные детали.

В этой статье разберём, как считать шаги обучения lora, какие стартовые диапазоны брать для первых запусков, почему 6000 шагов нередко оказываются лишними на небольшом датасете, и по какому чек-листу быстрее понять, модель недоучилась или уже ушла в переобучение.

Что будет дальше: формула расчёта, таблица стартовых диапазонов, признаки недообучения и переобучения, а в конце — практический сценарий первого запуска.

Содержание

• Почему универсального числа шагов не существует
• Какие диапазоны шагов брать для первых запусков
• Как считать steps через repeats, epochs и batch size
• Как понять, что шагов уже слишком много
• Что менять, если результат слабый или «пластиковый»
• Чек-лист первого запуска

Почему универсального числа шагов не существует

Когда новичок спрашивает, сколько шагов lora ставить, он обычно ждёт одно число: 2000, 3000 или 4000. Но шаг — это не изолированная настройка. Он связан как минимум с количеством кадров, числом повторений, эпохами, размером батча, распределением кадров по бакетам и скоростью обучения.

Если упростить, одна и та же цифра steps может означать очень разную «плотность» обучения. Пример: 40 фотографий при repeats 10 и batch size 1 дадут примерно одну интенсивность, а те же 40 фотографий при batch size 2 и другой схеме эпох — уже другую. Поэтому сравнивать чужие цифры в отрыве от остального конфига почти бесполезно.

Сюда же добавляется качество самих кадров. Если датасет маленький, ракурсы однотипные, фон повторяется, а подписи описывают не то, что нужно зафиксировать, модель может переобучиться раньше, чем вы ожидаете. И наоборот: более разнообразный и чистый набор изображений часто переносит больше шагов спокойнее. Поэтому перед тем как увеличивать steps, полезно проверить сам материал. На эту тему у нас уже есть отдельный разбор: какие кадры вредят обучению LoRA.

Есть и ещё один момент, который часто недооценивают: разные задачи требуют разной глубины подстройки. LoRA на лицо или персонажа обычно ловит нужные признаки быстрее, чем LoRA на сложный стиль или набор мелких визуальных особенностей. Поэтому попытка всегда ставить одну и ту же цифру заканчивается либо сырой моделью, либо пережжённой.

Из этого и вытекает главный принцип первых запусков: не угадывать «магическое число», а закладывать рабочий коридор, сохранять промежуточные чекпойнты и сравнивать их на одинаковых тестовых промптах.

Какие диапазоны шагов брать для первых запусков

Если говорить про старт, а не про финальную тонкую настройку, удобнее мыслить не точкой, а диапазоном. В практических кейсах первые внятные результаты нередко появляются около 1500–2500 шагов, а для более объёмных датасетов или спокойной скорости обучения рабочая зона часто уходит в 2500–4000. При этом отметка 5000–6000 на небольших и средних наборах изображений уже заметно повышает риск артефактов, шумной кожи, «выжженных» текстур и слишком жёсткой фиксации частных кадров.

Ниже — удобная стартовая шпаргалка именно для первых тестов, когда вам нужно быстро понять направление, а не выжать максимум из одной-единственной сессии.

Размер и характер датасета	С чего начать	Где чаще искать лучший чекпойнт	Когда уже стоит насторожиться
15–25 кадров, одна сущность, близкие ракурсы	1200–2200 шагов	1200–2000	После 2500–3000
30–50 кадров, лицо + пояс + полный рост	1800–3200 шагов	2000–3000	После 3500–4000
60–90 кадров, разнообразные сцены и одежда	2200–4000 шагов	2500–3800	После 4500–5000
90+ кадров, аккуратный датасет и спокойный learning rate	2500–4500 шагов	3000–4200	После 5000+, если качество не растёт

Это не закон и не «секретная формула». Это стартовые диапазоны, которые помогают не улететь сразу в крайности. Для маленького датасета 4000–6000 шагов часто оказываются перебором. Для более крупного и разнообразного набора те же числа могут быть терпимыми, особенно если learning rate снижен и модель обучается мягче.

Для первого запуска удобно ставить сохранение каждые 250–500 шагов. Тогда вы видите не одну финальную LoRA, а серию промежуточных состояний. Очень часто лучший результат находится не в последнем файле, а где-то посередине: например, в районе 2000–2500 шагов при датасете около 30–40 фото. Если вы только собираете первую базу, посмотрите и соседний материал про то, сколько фото нужно для первой LoRA: размер датасета напрямую влияет на рабочий диапазон шагов.

Отдельно скажем про «поставлю побольше, вдруг будет точнее». Эта логика с LoRA работает плохо. Если модель уже поймала внешность, одежду, форму лица и ключевые признаки, лишние шаги нередко не улучшают перенос, а начинают приклеивать к результату случайные детали конкретных кадров. На выходе вы получаете не более сильную LoRA, а менее гибкую.

Как считать steps через repeats, epochs и batch size

В интерфейсах обучения многие смотрят только на финальное число шагов, хотя оно рождается из нескольких параметров. Для LoRA удобнее думать так: сначала вы считаете шаги на эпоху, потом — общее число шагов.

Базовая логика: шаги на эпоху примерно равны количеству изображений × repeats ÷ batch size. Дальше это число умножается на epochs. В реальных тренерах расчёт может немного отличаться из-за бакетов, но для первичной оценки этого достаточно.

Пример 1. У вас 40 изображений, repeats = 10, batch size = 1. Тогда одна эпоха — это около 400 шагов. Если поставить 5 эпох, выйдет примерно 2000 шагов.

Пример 2. Те же 40 изображений, repeats = 10, но batch size = 2. Тогда шагов на эпоху будет примерно 200. При 5 эпохах вы получите около 1000 шагов. Формально steps стало меньше, но это не значит, что сравнение с batch 1 будет линейным один в один. Батч влияет и на скорость, и на характер обновления весов.

Отсюда важный вывод: если вы меняете batch size, repeats или epochs, «любимое» число шагов из чужого гайда перестаёт быть ориентиром. Именно поэтому универсального ответа на вопрос про настройки обучения lora не существует.

Повторения тоже нельзя считать случайной цифрой. Repeats определяет, сколько раз одно и то же изображение участвует в обучении в рамках эпохи. Если поставить слишком много повторений на небольшой набор, модель слишком рано начнёт запоминать частные совпадения. Если поставить слишком мало на крупный и разнообразный набор, вы рискуете получить слабый захват признаков. Для новичка безопаснее начинать умеренно и компенсировать не чрезмерными repeats, а аккуратным сохранением промежуточных чекпойнтов.

Если при чтении чужих конфигов у вас возникает ощущение, что совпадают только итоговые steps, а всё остальное разное, вы чувствуете ситуацию правильно. Важен не сам номер, а контекст его появления.

Как понять, что шагов уже слишком много

Переобучение редко начинается эффектно. Чаще оно подкрадывается постепенно: сначала результат кажется «чётче», а потом в генерации появляется жёсткость, зерно, лишняя детализация в коже, странные волосы, грязные текстуры ткани и навязчивое повторение поз или одежды из датасета.

Вот признаки, что шагов уже многовато:

• на тестовых картинках модель всё чаще тянет один и тот же ракурс или один комплект одежды;
• внешность становится менее живой и более «пластиковой»;
• фон, волосы и ткань начинают шуметь, словно картинку перегрели;
• последние чекпойнты выглядят хуже промежуточных;
• loss перестал давать полезную динамику, а качество глазами уже не растёт.

На небольших и средних датасетах особенно часто переобучение приходит в паре с агрессивным learning rate. В реальных запусках разница между 1e-4 и 5e-5 может ощущаться очень заметно: при одинаковом датасете более высокий rate быстрее загоняет модель в грубое запоминание конкретных кадров. Поэтому если на 3000+ шагах результат стал хуже, не спешите просто урезать steps. Иногда проблема не только в количестве обновлений, но и в том, насколько резко вы двигаете веса на каждом из них.

Ещё один частый симптом — LoRA вроде бы узнаёт человека, но плохо переносится между workflow и даёт нестабильный результат в соседних пайплайнах. Это не всегда вопрос только шагов, однако переобучение и однотипный датасет очень часто усиливают такую проблему. Здесь пригодится материал про то, почему одна и та же внешность в разных workflow разваливается.

Что менять, если результат слабый или «пластиковый»

Самая частая ошибка новичка — крутить только один ползунок. На деле шаги — это лишь часть картины. Если результат слабый, не всегда нужно просто добавлять training steps. Если результат грязный, не всегда достаточно просто их урезать.

Если модель недоучилась: сначала проверьте, хватает ли разнообразия в датасете, не слишком ли мало repeats, не завышен ли batch size и не слишком ли ранний чекпойнт вы смотрите. Для спокойного теста можно немного расширить диапазон по шагам, но делать это лучше с сохранениями каждые 250–500 шагов.

Если модель уходит в пластик и шум: чаще помогает комбинация из трёх действий — снизить learning rate, сократить общий диапазон шагов и почистить датасет от дубликатов и кадров, которые тянут модель в сторону. Иногда именно датасет объясняет половину проблем. Для тонкой подготовки подписей и смыслового описания кадров полезно понимать, что такое Florence и зачем его используют в LoRA.

Есть и практичное правило: если вы не уверены, что именно ломает обучение, не делайте длинный одинокий прогон на 6000+ шагов. Гораздо продуктивнее сделать короткую сетку тестов: например, одинаковый датасет, один и тот же seed для проверки, но разные зоны в 1800, 2400, 3000 и 3600 шагов. Такой подход почти всегда даёт больше ясности, чем один большой эксперимент.

Чек-лист первого запуска

Ниже — сценарий, который помогает не застревать на первом же обучении.

1. Соберите датасет, который реально различается по ракурсам и дистанции. Пусть там будут лицо, пояс, полный рост, разные выражения и нормальный свет, но не мусорные дубли.

2. Не задирайте repeats автоматически. Если набор небольшой, чрезмерные повторения быстро приближают переобучение.

3. Начните с умеренного диапазона шагов. Для 30–50 кадров разумная стартовая зона часто лежит около 2000–3000, для более крупного набора — около 2500–4000.

4. Сохраняйте промежуточные версии. Интервал 250–500 шагов даёт достаточно материала для сравнения, но не забивает диск десятками почти одинаковых файлов.

5. Тестируйте все чекпойнты на одном наборе промптов. Иначе вы сравниваете не модели, а случайные отличия генерации.

6. Смотрите не только на лицо. Важно, как LoRA держит волосы, глаза, пропорции, одежду, фон и общую гибкость.

7. Если стало хуже после середины обучения, не спорьте с результатом. Возьмите более ранний чекпойнт и уже от него делайте следующий тест.

Итоговая мысль: первые запуски нужны не для идеальной цифры, а для калибровки вашей конкретной связки «датасет + подписи + модель + trainer». Чем быстрее вы увидите, в какой зоне LoRA начинает ловить суть и в какой зоне уже портится, тем быстрее выйдете на рабочий конфиг.

Если свести всё к одной фразе, то ответ на вопрос «сколько шагов ставить при обучении LoRA» звучит так: начинайте диапазоном, а не догмой. Для большинства первых запусков полезнее коридор 1500–4000 с промежуточными сохранениями, чем одна жёсткая цифра, поставленная наугад.