Как проверить captions перед запуском обучения

Короткий ответ. Перед обучением LoRA проверьте captions по самим фотографиям, а не только по списку файлов. Подпись должна совпадать с изображением, отделять признаки персонажа от меняющихся деталей сцены и не содержать систематических ошибок автоматического captioner. Начните с просмотра всех пар «фото — TXT» в маленьком датасете; в большом возьмите случайную выборку из разных папок и затем проверьте подозрительные случаи. Формат подписи и сопоставление файлов зависят от тренера; пример есть в конфигурации датасета Kohya sd-scripts.

Проверьте, что TXT относится к правильному фото

Самая простая ошибка — название файла не совпадает с именем изображения или caption лежит не в той папке. Многие тренеры ищут текст по базовому имени файла: frame_001.jpg и frame_001.txt. Другие используют JSON или таблицу метаданных. Не предполагая, что все инструменты работают одинаково, откройте настройки вашего trainer и проверьте фактический формат. Затем подсчитайте изображения без подписи и подписи без изображения. Нулевое число ошибок по именам ещё не означает, что содержание верное.

Откройте несколько пар подряд и убедитесь, что caption описывает именно данный кадр. После переименования, сортировки или пересборки датасета тексты легко сдвигаются на один номер. Тогда модель получает противоречивые сигналы: на фото красное платье, в подписи синее; лицо в профиль, текст говорит «анфас». Дополнительные шаги обучения не исправят эту несогласованность.

Какие ошибки автоматического captioner встречаются чаще

• Неверный цвет волос, глаз или одежды при сложном освещении.
• Предмет на фоне принят за часть персонажа.
• Одна и та же общая фраза повторяется во всех файлах и почти не различает снимки.
• Подпись содержит слова, которые вы не хотите связывать с персонажем: например, постоянный фон при разнообразных сценах.
• Случайные артефакты, водяные знаки и текст в кадре описаны как важная деталь.

Не нужно делать каждую подпись максимально длинной. Цель — дать тренеру полезную связь между текстом и изменяемыми признаками. Если человек всегда один и тот же, его идентичность может задаваться отдельным trigger word, а одежда, поза и фон — описываться по кадру. Конкретная стратегия зависит от базы и тренера; сравнивайте результат коротким тестом, а не принимайте одну схему за универсальную. Общая механика LoRA описана в Hugging Face Diffusers.

Быстрый редакторский проход

1. Откройте список всех файлов и проверьте совпадение имён или записей в metadata.
2. Уберите пустые, нечитаемые и случайно скопированные TXT.
3. Посмотрите уникальные слова и частотность: слишком частое ошибочное слово повлияет на весь датасет.
4. Сравните captions с фото, особенно для сложных ракурсов и освещения.
5. Проверьте единый trigger word, если он используется, и отсутствие опечаток в нём.
6. Возьмите контрольную выборку после исправлений и снова откройте её вместе с изображениями.

Сохраните старую версию подписей перед массовой заменой слов. Если вы меняете все TXT одним скриптом, сначала запустите его на копии маленькой папки и сравните diff. Замена «blue» на «brown» по всему датасету может случайно изменить описания одежды, фона или других объектов. Ручная проверка нескольких примеров после автоматического редактирования обязательна.

Когда проблема проявляется уже во время генерации

Если обученная LoRA настойчиво меняет цвет глаз, фиксирует одежду или переносит одинаковый фон во все сцены, вернитесь к captions и фотографиям. Посмотрите, какой признак повторялся без описания, а какой был описан неверно. Проверьте и вес LoRA при генерации: слишком сильное применение может преувеличить закреплённые детали. Для объективной оценки сравните ранний и поздний checkpoint на одинаковых prompt и seed.

Когда подписи очищены, не обязательно сразу проводить полное дорогое обучение. Сделайте короткий пилот, сохраните промежуточный checkpoint и проверьте, исчезла ли конкретная ошибка. Если нет, причина может быть в самом составе снимков. Caption не компенсирует двадцать почти одинаковых кадров с одним фоном и одной позой.

Частые вопросы

Можно ли полностью доверить captions Florence?

Нет. Автоматическая модель ускоряет черновую разметку, но ошибается в деталях. Проверяйте пары изображений и TXT до обучения.

Нужно ли описывать каждую деталь лица?

Не всегда. Решите, какие признаки должна удерживать сама LoRA, а какие вы хотите менять текстом. Затем используйте эту стратегию последовательно.