Как не испортить LoRA на старте
Как не испортить первую LoRA: цель обучения, проверка фото и captions, промежуточные сохранения и сравнение результатов на одном prompt.
Короткий ответ. Чтобы не испортить первую LoRA, начните с маленького проверенного датасета, одной базовой модели и воспроизводимого теста. Сохраните исходники и конфигурацию, проверьте соответствие каждого изображения его caption, сделайте несколько промежуточных сохранений и сравнивайте их на одних и тех же prompt. Число шагов, rank и learning rate нельзя выбирать по универсальному рецепту без учёта модели и объёма данных. [Hugging Face: обучение LoRA]
Зафиксируйте цель до подготовки фото
LoRA для конкретного лица, одежды, стиля и видеодвижения решают разные задачи. Если цель — сохранить идентичность персонажа при разных позах, датасет должен показывать этого персонажа в разных условиях. Если цель — один стиль, акцент смещается на визуальный язык. Попытка обучить «всё сразу» на случайной папке изображений приводит к тому, что LoRA усваивает фон, цветовую гамму или одежду вместо нужного признака.
Запишите три контрольных prompt: обычный портрет, новый ракурс и сцену, которой не было в датасете. По ним позже оцените, работает ли LoRA вне исходных фотографий. Один красивый кадр, похожий на тренировочный, не доказывает обобщение. [Kohya: обучение LoRA]
Проверьте набор до запуска trainer
- Уберите дубликаты и почти одинаковые кадры, сильное размытие, ошибки лица и явно разные личности.
- Проверьте разнообразие ракурсов, выражений и условий освещения при сохранении нужного признака.
- Откройте несколько пар
image.jpgиimage.txt; имена должны совпадать по правилам trainer. - Исправьте подписи, где указаны детали, которых на фото нет.
- Сделайте резервную копию исходников и отдельную папку для версии датасета.
В AI Toolkit пример конфигурации связывает изображения и captions по одинаковому имени файла и задаёт разрешения датасета. В sd-scripts параметры повторов, buckets и captions задаются отдельно. Перед стартом убедитесь, что ваш trainer читает ту папку и те файлы, которые вы подготовили. [AI Toolkit: конфигурация]
Не меняйте все параметры одновременно
| Параметр | Что проверить |
|---|---|
| Базовая модель | Соответствует ли она целевой генерации |
| Шаги и повторы | Сколько раз модель видит каждый кадр |
| Learning rate | Нет ли резкого ухудшения контрольных примеров |
| Rank и alpha | Рекомендации конкретного trainer и бюджет памяти |
| Caption и trigger | Совпадают ли слова с реальным содержимым |
Сделайте первый короткий прогон на рекомендованной конфигурации выбранного trainer. Сохраните лог, seed и prompt для sample-кадров. Если результат слабый, сначала определите тип ошибки: лицо не похоже, одежда прилипла, фон повторяется или модель перестала слушать текст. Каждой проблеме соответствует другая проверка; простое увеличение шагов не универсально.
Полезно записывать дату прогона и хэш или версию датасета. Тогда результат можно связать с конкретным набором и настройками, а не гадать спустя неделю, какой файл был обучен на каких снимках.
Когда остановиться и сравнить checkpoint
Сохраняйте промежуточные версии LoRA с понятными именами и сравнивайте их на одинаковой базовой модели, весе, seed и prompt. На ранней версии может быть мало сходства, на поздней — излишняя привязка к исходным кадрам. Лучший checkpoint выбирают по серии задач, ради которых LoRA обучалась, а не по максимальному номеру шага. Если trainer позволяет просматривать validation samples, используйте их вместе с ручным тестом. [AI Toolkit]
Короткие ответы
Можно ли начать с идеальных, но одинаковых фото?
Можно для технического теста, но такая LoRA может плохо работать вне этих поз и фонов. Для рабочей модели добавьте осмысленное разнообразие.
Что важнее: больше шагов или чище датасет?
Исправление неверных кадров и подписей часто полезнее, чем увеличение числа шагов. Точный баланс проверяйте на сохранённых версиях и контрольных prompt.