Перейти к содержимому
autopilot
AI. ПРАКТИКА.
ПОНЯТНЫЙ КОНТЕКСТ.
Оставить заявку ↗

Почему до 3000 шагов нет результата, а после появляется

Почему LoRA начинает влиять на результат лишь после 3000 шагов: проверка checkpoint, веса применения, датасета и learning rate.

Короткий ответ. Если LoRA почти не влияет на изображения до 3000 шагов, а затем резко становится заметной, не принимайте цифру 3000 за универсальный порог. Причиной может быть слабое применение адаптера, неверная база при ранних тестах, learning rate, размер датасета или способ сохранения и выбора checkpoint. Сравните промежуточные файлы в одинаковом workflow, проверьте, что загружается именно нужная эпоха, и посчитайте, сколько раз модель увидела каждое изображение. Принцип обучения и параметры описаны в документации Hugging Face по LoRA.

Что на самом деле означает номер шага

Шаг — обновление параметров по очередной порции обучающих примеров. Это не равнозначно одному изображению. Если датасет маленький, то за 3000 шагов одни и те же снимки могут повториться много раз; в большом датасете каждое фото встретится реже. На скорость изменения влияют batch size, gradient accumulation, повторения, learning rate и выбор обучаемых слоёв. Поэтому фраза «после 3000 стало хорошо» описывает конкретный эксперимент, а не стандарт для всех LoRA.

Прежде чем менять длительность тренировки, проверьте, что все сравниваемые тесты сделаны на одной базе. LoRA, обученная под другую модель, может не загрузиться или почти не давать ожидаемого эффекта. Запишите версию модели, путь к файлу, вес LoRA, seed, текст prompt, sampler и размер выходного изображения. Меняйте только checkpoint. Если одновременно поменять промпт и вес, оценить прогресс обучения невозможно.

Проверка промежуточных сохранений

  1. Возьмите ранний, средний и поздний checkpoint одного запуска обучения.
  2. Убедитесь, что ComfyUI видит разные файлы и что в ноде LoRA выбран именно тот, который вы тестируете.
  3. Для каждого файла запустите один и тот же короткий набор prompt с одинаковыми seed и весом адаптера.
  4. Повторите сравнение на двух или трёх весах применения, если исходный вес был слишком слабым.
  5. Посмотрите не только на сходство лица, но и на артефакты, гибкость позы и реакцию на новый фон.

Если ранний файл «не работает» только при одном весе применения, а при другом видна разница, причина может быть в тестовом workflow. Если все ранние сохранения похожи на базовую модель, проверьте, что тренер действительно обновлял LoRA и сохранял её, а не только создавал пустой или неверно загружаемый файл. Логи тренера важнее названия checkpoint.

Почему прогресс бывает резким

Визуальная оценка нелинейна: небольшие изменения параметров могут стать заметными только после того, как лицо или стиль проходят определённый субъективный порог сходства. Но «резко появилось» бывает и иллюзией, если поздний checkpoint тестировался с другим prompt, другой базой или другой силой LoRA. Ещё одна причина — различный интервал между сохранениями: если файлы записывались на 1000 и 3000 шагах, вы просто не видите, что происходило посередине.

Фиксируйте достаточно частые контрольные сохранения, которые не переполнят диск. Для маленького датасета особенно важно сравнивать промежуточные точки: продолжение обучения может сначала улучшить сходство, а затем закрепить нежелательные черты фона и одежды. Документация Kohya sd-scripts по конфигурации датасета показывает, как состав и повторения данных влияют на цикл обучения.

Когда увеличивать шаги, а когда исправлять данные

Симптом Следующая проверка
Образ слабеет одинаково на всех checkpoint Совместимость базовой модели и загрузчика LoRA
Поздний файл узнаваем, но фон прилипает к персонажу Однообразие датасета и captions, а не новые шаги
Поздний файл даёт артефакты Более раннее сохранение, learning rate, сила LoRA
Ничего не меняется даже при большем весе Лог обучения, путь файла и подключение ноды

Увеличивать длительность имеет смысл только когда тесты показывают продолжающееся улучшение без потери гибкости. Если в данных есть битые снимки, неверные подписи или один повторяющийся ракурс, дополнительные шаги закрепят эти ошибки. Сначала очистите датасет и проверьте соответствие имён файлов и caption.

Как записать результат для следующего обучения

Сохраните таблицу: номер checkpoint, конфигурация обучения, два одинаковых prompt, вес применения, оценка лица, фона и артефактов. Достаточно нескольких строк. Тогда следующий эксперимент будет основан на наблюдении, а не на памяти о «магических 3000 шагах». Если цель — видео LoRA на Wan, оценивать надо ролик, а не только кадр; вопрос длительности для Wan разобран отдельно в статье о шагах LoRA на Wan.

Частые вопросы

Нужно ли всегда учить дольше 3000 шагов?

Нет. На небольшом датасете лучший checkpoint может быть значительно раньше. Сравнивайте сохранения на одинаковых условиях.

Можно ли узнать лучший шаг по loss?

Loss полезен для отслеживания процесса, но итоговое качество лица, стиля и гибкости проверяют генерациями на новых сценах.

По этой теме

Все материалы ↗