Нужно ли держать одинаковую фигуру во всех фото для LoRA
Нужна ли одинаковая фигура на всех фото для LoRA: баланс портретов и полного роста, отбор персонажа и проверка пропорций.
Короткий ответ. Для LoRA персонажа не нужно искусственно делать одинаковую фигуру на каждом фото, но снимки должны показывать одного и того же человека или задуманный единый образ. Разные позы, одежда и ракурсы полезны; радикально меняющиеся пропорции тела, агрессивная ретушь и смешение разных людей создают противоречивый сигнал. Решите, должна ли LoRA запоминать только лицо или также телосложение, затем подберите датасет под эту цель и проверьте результат отдельно на портрете и полном росте.
Лицо и тело обучаются по разным доказательствам
Если большинство кадров — крупные портреты, модель видит лицо хорошо, но почти не получает информации о фигуре. Она может держать узнаваемость в крупном плане и создавать случайное телосложение в полный рост. Если цель включает весь персонаж, добавьте качественные полуростовые и полноразмерные снимки с различными позами. Не заменяйте их сотней почти одинаковых selfie. LoRA обучается на том, что есть в датасете; название «персонаж» само по себе не сообщает модели форму тела.
При этом слишком много полных ростов с маленьким лицом может ухудшить сходство в портретах. Поддерживайте баланс: должны быть видны и характерные черты лица, и пропорции тела. Кадры с сильной перспективой и широкоугольным искажением не стоит считать точными эталонами фигуры. Если используете созданные нейросетью фото, отберите только те, где один персонаж действительно сохраняет пропорции.
Какие вариации полезны
- Разные позы при узнаваемых пропорциях: стоя, сидя, поворот корпуса.
- Разные виды одежды, чтобы модель не прикрепила фигуру к одному силуэту платья или куртки.
- Несколько ракурсов и планов, где тело не обрезано случайно.
- Умеренно разные условия света и фон, не скрывающие основные формы.
Изменение причёски или макияжа возможно, если персонаж остаётся тем же. Но если вместе с ними меняются возраст, рост и форма тела, модель может получить смесь разных идентичностей. Перед обучением разложите снимки по типам и удалите очевидные выбросы. Качество отбора важнее размера папки.
Как captions помогают отделить одежду от фигуры
Подписи полезны, когда указывают изменяемые детали: длинное пальто, свободная рубашка, спортивная форма, сидячая поза. Тогда тренер получает сигнал, что силуэт одежды относится к конкретному кадру, а не всегда к персонажу. Не приписывайте телу характеристику, которую снимок не показывает. Тяжёлое пальто или широкий ракурс могут вводить в заблуждение и человека, и автоматический captioner. Формат captions и состав датасета зависят от тренера; Kohya sd-scripts документирует параметры поднабора и подписей.
Не существует универсального текстового описания «правильная фигура», которое исправит противоречивый набор. Если половина фото показывает разную комплекцию, а вы хотите один устойчивый образ, сначала очистите данные. Если намеренно хотите несколько вариантов тела, вероятно, понадобится другая стратегия обучения или раздельные адаптеры.
Контрольный тест после обучения
- Сделайте портрет с LoRA и без неё на одной базе.
- Сделайте кадр в полный рост в простой одежде и нейтральной позе.
- Повторите полный рост с другой одеждой и ракурсом.
- Сравните силу LoRA на нескольких значениях и проверьте ранние checkpoint.
- Отметьте, где теряются лицо и пропорции: это подскажет, каких кадров не хватает.
Если лицо держится, а тело «плывёт», не спешите учить дольше. Проверьте число полноростовых кадров, их качество и преобладание одной одежды. Дополнительные шаги могут закрепить ошибочный силуэт. Общая схема адаптации LoRA и параметры обучения описаны в Hugging Face Diffusers.
Частые вопросы
Можно ли смешать фото с разной одеждой?
Да, это помогает не привязать персонажа к одному наряду. Подписи должны точно различать одежду, если вы хотите управлять ею текстом.
Нужно ли одинаковое телосложение на всех кадрах?
Нужна согласованная идентичность. Нормальные изменения позы и перспективы допустимы; очевидно разные пропорции лучше проверить и отобрать.