Как captions помогают сохранить одежду и позу

Привет. Если LoRA уверенно держит лицо, но на генерации теряет крой платья, длину рукавов, разворот корпуса или положение рук, проблема часто сидит не в rank и не в количестве шагов, а в подписях к датасету. Captions задают модели контекст: что в кадре относится к базе персонажа, а что является меняемой частью сцены. В этой статье покажем, какие текстовые признаки реально удерживают одежду и позу, как разделять постоянные и переменные детали, какие ошибки ломают результат и по какому чек-листу стоит пройтись перед обучением.

Материал особенно полезен тем, кто ищет практический ответ на запросы captions одежда поза, как сохранить одежду lora и поза в txt для lora, а не очередной набор расплывчатых советов.

Содержание статьи:

• Почему LoRA теряет одежду и позу
• Какие признаки в caption реально удерживают одежду и позу
• Как разделять постоянные и меняемые детали
• Рабочий порядок подготовки captions
• Ошибки, из-за которых сцена расползается
• Чек-лист перед обучением

Почему LoRA теряет одежду и позу

Во время обучения модель видит не только пиксели, но и текст рядом с каждым кадром. Она не «понимает» одежду или позу так, как человек, а накапливает статистические связи между визуальными признаками и словами. Когда в txt-файлах есть точные и повторяемые описания, модель получает чистый сигнал. Когда подписи общие, противоречивые или перегружены постоянными чертами внешности, приоритет сцены размывается.

На практике это выглядит так: лицо похоже, а остальное плывёт. Куртка превращается в жакет, длинные рукава внезапно становятся короткими, поза меняется на более усреднённую, руки «едут», корпус разворачивается в другую сторону. Это типичная ситуация, когда база персонажа обучилась, а меняемые детали сцены не получили достаточно аккуратной текстовой опоры.

Ещё одна частая причина — смешение уровней описания. Если в каждом caption повторять цвет глаз, цвет волос, причёску, серьги, настроение, фон, одежду и позу одновременно, модель хуже разделяет, что должно быть встроенной частью образа, а что можно контролировать отдельно. По практическому опыту подготовки датасетов лучше всего работают подписи, где постоянные черты отделены от переменных, а слова про одежду и позу не тонут в длинном хвосте второстепенных деталей.

По той же причине не стоит рассчитывать, что одна автоподпись спасёт слабый набор кадров. Если в датасете много однотипных ракурсов, кривых поз, спорных рук или случайной одежды, captions лишь зафиксируют эту кашу. На этапе отбора кадров полезно свериться с материалом о том, какие кадры вредят обучению LoRA: чем чище исходник, тем точнее потом работает текстовое управление.

Какие признаки в caption реально удерживают одежду и позу

Хороший caption опирается на то, что действительно видно и что действительно влияет на итоговую форму кадра. Для одежды это не абстрактный стиль, а конструкция и силуэт. Для позы — не только «стоит» или «сидит», а геометрия тела в кадре.

Блок признаков	Что стоит указывать	Зачем это помогает
Одежда	тип вещи, слойность, длина рукавов, длина низа, посадка, материал, крупный принт, открытые или закрытые зоны	модель лучше держит силуэт и меньше подменяет одну вещь другой
Поза	полный рост или поясной кадр, поворот корпуса, положение рук, опора на одну ногу, сидит или стоит, наклон головы	сохраняется композиция тела и характер жеста
Ракурс	фронтально, 3/4, профиль, сверху, снизу, камера на уровне глаз	снижает путаницу между похожими позами в разных углах съёмки
Действие	идёт, сидит на краю стула, держит телефон, поправляет куртку, опирается на стол	помогает связать позу с логикой сцены, а не оставлять тело в усреднённом состоянии

Для одежды полезнее слова «джинсовая куртка, укороченная длина, длинный рукав, застёжка на кнопках», чем формулировки вроде «стильный образ» или «модный лук». Для позы полезнее «полуоборот корпуса, правая рука на талии, левое колено согнуто», чем простое «красивая поза». Модели нужен не общий комплимент, а визуальный каркас.

Отдельно стоит сказать о фигуре. Если телосложение — важная часть того, что вы хотите удержать, его можно обозначать кратко и одинаково во всех релевантных кадрах. Но делать из этого длинное словесное описание в каждом файле не стоит. Один устойчивый маркер работает лучше, чем пять почти одинаковых фраз. В противном случае модель начинает переучиваться на словесный шум, а не на образ.

Слабый caption: woman in nice outfit, standing, indoor.

Сильный caption: cropped leather jacket, white ribbed top, high-waist jeans, full body, standing, 3/4 view, one hand in pocket, weight on right leg.

Разница здесь не в длине, а в полезности. Во втором варианте есть каркас одежды и каркас позы. Именно такие элементы лучше всего удерживают меняемые детали сцены.

Как разделять постоянные и меняемые детали

Самое полезное правило для подготовки датасета звучит так: постоянное не должно спорить с переменным. Если вы обучаете LoRA на конкретного персонажа или человека, то его базовые черты уже и так закрепляются повторением по всему набору кадров. Именно поэтому постоянные признаки не нужно забивать в каждый txt в полном объёме.

Обычно удобно мыслить тремя слоями:

• База персонажа: триггер, лицо, узнаваемые черты, то, что должно держаться по умолчанию.

• Меняемые детали сцены: одежда, поза, фон, действие, ракурс.

• Пограничные признаки: телосложение, прическа, аксессуары — их стоит оставлять только тогда, когда они действительно важны для задачи.

Из практики обучения видно, что сцена распадается чаще всего не потому, что captions слишком короткие, а потому, что в них всё смешано. Например, вы хотите сохранить одежду и стойку тела, но в txt снова и снова повторяете цвет глаз и волос. В результате модель усваивает эти слова как главный якорь, а переменная часть сцены становится менее управляемой.

Рабочая логика такая: если признак должен меняться на генерации, его надо описывать. Если признак должен держаться по умолчанию, его лучше не дублировать в каждой строке, а оставить частью общей базы. Именно так captions начинают помогать, а не мешать. Похожая путаница часто проявляется и уже после обучения, когда в одном workflow образ держится, а в другом разваливается. На эту тему у нас есть отдельный материал о том, почему одна и та же внешность в разных workflow разваливается: причина нередко кроется как раз в том, что база и сцена обучены внахлёст.

Полезно заранее выбрать словарь. Если в одном caption у вас «denim jacket», в другом «jean jacket», а в третьем «blue outerwear», модель получает три разных текстовых сигнала для одной и той же вещи. Для маленького датасета это уже заметный шум. Лучше выбрать одну схему наименования и держать её до конца.

Рабочий порядок подготовки captions

Самый удобный путь — сначала получить черновое описание автоматически, а затем быстро привести его к единому формату руками. Для автоподписей часто используют Florence, потому что он умеет не только короткий caption, но и более подробные режимы описания. Если вы только встраиваете его в пайплайн, сначала загляните в нашу базовую статью что такое Florence и зачем его используют в LoRA, а уже потом стройте массовый captioning.

Но важный момент такой: автоматическая подпись — это заготовка, а не финал. На практике даже сильные модели часто описывают позу сухо, пропускают нюансы жеста, слабо различают значимые особенности одежды или, наоборот, уводят текст в сторону второстепенных деталей. Поэтому после автогенерации лучше пройтись по каждому набору хотя бы в режиме быстрой редакции.

Рабочий порядок выглядит так:

1. Сгенерировать черновой caption для всех кадров.

2. Оставить только те признаки, которые реально видны и реально управляют сценой.

3. Почистить постоянные черты, если они мешают отделить базу персонажа от одежды и позы.

4. Привести формулировки к одному словарю.

5. Проверить, не описана ли одна и та же одежда тремя разными способами.

6. Проверить, хватает ли в датасете разнообразия по ракурсу и действию.

Для LoRA обычно хорошо работают компактные comma-separated captions. Это подтверждается и документацией популярных тренеров: порядок частей в таких подписях имеет значение, а при фиксированном порядке ранние элементы получают больший вес. Если вы используете shuffle caption, он помогает уменьшить перекос, но не исправляет плохую структуру текста сам по себе. Поэтому самые важные элементы сцены всё равно стоит формулировать чётко и единообразно.

Полезная привычка — ставить в начало caption то, что для этого кадра важнее всего. Если основная цель кадра — удержать одежду, сначала идёт одежда. Если ключевой смысл — поза или действие, сначала идут они. Это не жёсткая догма, но для маленьких и средних датасетов такой порядок часто даёт более предсказуемый результат.

Ошибки, из-за которых сцена расползается

Первая ошибка — слишком общие слова. «Красивая девушка», «модный образ», «элегантная поза» не дают модели почти ничего. Они не удерживают ни длину рукава, ни форму юбки, ни положение плеч.

Вторая ошибка — описание невидимого. Не стоит добавлять в txt то, чего на кадре не видно отчётливо. Если обувь не попала в кадр, её не надо придумывать. Если руки закрыты, лучше не фантазировать про жест. Модель должна получать факты кадра, а не догадки.

Третья ошибка — противоречия между похожими кадрами. Например, на почти одинаковых изображениях одна и та же куртка названа то бомбером, то жакетом, то курткой. Такие мелочи особенно вредят маленьким датасетам и быстро снижают управляемость сцены.

Четвёртая ошибка — попытка вылечить captions то, что сломано в подборе кадров. Если большая часть датасета снята с одного угла, в одной одежде и с одним положением рук, модель просто не научится хорошо различать вариации позы. Здесь полезно заранее свериться с материалом о том, сколько фото нужно для первой LoRA: вопрос не только в количестве, но и в смысловом покрытии признаков.

Пятая ошибка — переусердствовать с длиной caption. Длинный текст не делает датасет умнее автоматически. Когда в подписи есть десять второстепенных деталей и только одна важная, модель легко уносит акцент в сторону. Лучше компактный, но точный набор признаков, чем длинная строка со слабой иерархией.

Шестая ошибка — полагаться только на один режим автоподписей. Иногда полезнее сначала взять подробную подпись, а затем вручную вырезать из неё только конструкцию одежды, позу, ракурс и действие. Это особенно важно там, где задача не «описать всё в кадре», а научить модель удерживать конкретные меняемые детали сцены.

Чек-лист перед обучением

• Проверьте цель LoRA. Что именно должно держаться по умолчанию: лицо, фигура, общий образ или конкретная одежда?

• Разделите базу и сцену. Постоянные черты не должны каждый раз спорить с тем, что вы хотите менять.

• Соберите словарь. Один тип одежды — одно название во всех caption.

• Описывайте конструкцию. Для одежды важны тип вещи, длина, посадка, слойность, материал, крупный принт.

• Описывайте геометрию тела. Для позы важны разворот корпуса, положение рук, ног, головы, формат кадра.

• Не добавляйте невидимые детали. Caption должен соответствовать кадру, а не ожиданию от него.

• Смотрите на повторы. Если кадры почти одинаковые, captions тоже не спасут слабое покрытие сцены.

• Тестируйте промежуточные чекпоинты. Иногда проблема видна уже на ранних сохранениях, и тренировать дальше нет смысла.

Если свести всё к одной мысли, она будет такой: captions нужны не для красоты и не для формальности. Они нужны, чтобы объяснить модели, какие признаки можно менять, а какие должны собираться в узнаваемую базу. Когда этот раздел проведён аккуратно, LoRA заметно лучше удерживает и одежду, и позу, а сцена перестаёт распадаться на случайные варианты.

Итоговый ориентир простой: пишите в txt то, что действительно помогает модели восстановить конструкцию кадра. Для одежды — силуэт и предметы. Для позы — геометрию тела и действие. Для остального — только то, что действительно относится к задаче. Такой подход делает captions рабочим инструментом, а не декоративным приложением к датасету.