Как делать датасет с разными эмоциями и ракурсами

Короткий ответ. Для LoRA с устойчивым персонажем соберите датасет с несколькими ракурсами и эмоциями, но сохраняйте качество лица и единую идентичность. Полезны анфас, три четверти, профиль, разные планы и естественные выражения. Не нужно ровно одинаковое число каждого варианта; важно избежать перекоса, когда почти все снимки — один selfie с одной улыбкой. Подписи должны отражать различия, которые вы хотите потом задавать текстом. Настройки датасета зависят от тренера; пример формата есть у Kohya sd-scripts.

Планируйте набор по будущим сценам

Если LoRA будет использоваться только для портретов, уделите внимание лицу в нескольких ракурсах и освещениях. Если нужны ролики или полный рост, добавьте соответствующие кадры и движения, а не ожидайте от портретного набора знания о фигуре. Заранее выпишите тесты: портрет анфас, поворот головы, другая эмоция, более широкий план. Затем подберите фотографии, которые дают модели информацию для каждого теста.

Разнообразие не равно случайному набору. Изображения должны показывать одного и того же персонажа без сильной ретуши, водяных знаков и крупных артефактов. Генерированные нейросетью исходники часто выглядят красиво, но меняют форму носа и глаз между сценами. Отбор вручную помогает больше, чем увеличение числа таких кадров.

Ракурсы: какие пробелы искать

• Анфас с хорошо видимым лицом — базовый ориентир идентичности.
• Три четверти слева и справа — проверка формы лица в повороте.
• Профиль — информация о носе, подбородке и контуре; качество важнее количества.
• Средний и общий план — связь лица с телом и одеждой.
• Несколько условий света — чтобы один цветной источник не стал постоянной чертой.

Если в наборе совсем нет профиля, модель будет додумывать его из базовой модели. Если все профили сильно размыты, включать их без отбора тоже не стоит. Сравните не только угол камеры, но и кадрирование: десять близких фото в одной позе — слабое разнообразие, даже если background немного меняется.

Эмоции без потери лица

Добавьте спокойное выражение как нейтральную опору, затем несколько отчётливых эмоций: радость, серьёзность, удивление — только если они соответствуют будущей задаче. Избегайте серии почти одинаковых улыбок, которая перекосит датасет. Очень сильная мимика может менять видимую форму лица; если таких кадров много, сходство в нейтральном тесте иногда ухудшается. Подпись эмоции должна соответствовать кадру, а не попытке угадать настроение по позе.

Если меняете эмоцию и одновременно включаете другой макияж, причёску и свет, будет трудно понять, какой признак модель связывает с этой эмоцией. По возможности чередуйте условия: один образ в нескольких выражениях и одно выражение в нескольких условиях. Идеального покрытия не нужно, но явных жёстких пар «грусть = тёмный фон» лучше избегать.

Как проверить готовность датасета

1. Разложите миниатюры по ракурсам и эмоциям. Отметьте пустые категории.
2. Уберите очевидные дубли и кадры с другим лицом или чрезмерной обработкой.
3. Проверьте фотографии в полный размер: глаза и контур лица должны быть читаемы.
4. Сверьте captions с каждым типом кадра и исправьте ошибки автоматической разметки.
5. Сделайте короткое обучение и сравните генерации на нейтральном и новом эмоциональном запросе.

Для контрольной генерации используйте одну базовую модель, одинаковые seed и несколько сохранённых checkpoint. Если LoRA отлично держит анфас, но проваливает профиль, обратите внимание на исходные профильные кадры. Если любую эмоцию превращает в улыбку, проверьте перекос набора. Увеличение числа шагов само по себе не заменит отсутствующий ракурс. Общая методика LoRA описана в Hugging Face Diffusers.

Частые вопросы

Сколько разных эмоций нужно?

Столько, сколько реально нужно в будущих сценах и сколько вы можете показать качественными кадрами. Жёсткого универсального числа нет.

Можно ли использовать только сгенерированные фото?

Можно, если у вас есть право на них и они действительно сохраняют одного персонажа. Проверяйте детали лица и не включайте красивые, но несогласованные кадры.