Как работает Florence 2 для captioning в ComfyUI
Как использовать Florence-2 для captioning в ComfyUI: схема нод, загрузка модели, проверка подписей и подготовка датасета для LoRA.
Короткий ответ. Florence-2 может автоматически описывать изображение, а в ComfyUI его используют через кастомную ноду: загрузчик модели получает веса, задача captioning получает картинку, на выходе появляется текст. Этот текст удобен как черновик подписи к датасету LoRA, но его необходимо просматривать вручную: модель может пропустить важный признак или уверенно описать несуществующую деталь. [Microsoft: Florence-2]
Что именно делает Florence-2
Florence-2 — модель для задач «изображение плюс текст». В карточке Microsoft перечислены captioning, детальные подписи, обнаружение объектов и другие задачи. Для датасета важен режим описания изображения: он превращает содержимое кадра в текст. Это не разметка с гарантированной точностью. Качество подписи зависит от модели, входного изображения, выбранной задачи и того, как нода обрабатывает результат. [Карточка Florence-2]
В ComfyUI Florence-2 не входит в каждый базовый workflow. Часто используют пакет ComfyUI-Florence2 от kijai. Названия загрузчика и нод могут меняться между версиями; ориентируйтесь на README установленного пакета, а не на старый скриншот из чужого графа.
Как собрать простую цепочку captioning
- Установите поддерживаемую ноду Florence-2 через Manager или способ из README и полностью перезапустите ComfyUI.
- Подготовьте один тестовый снимок; сначала не запускайте весь датасет.
- В загрузчике выберите совместимую модель Florence-2 и проверьте, что она действительно скачалась или доступна в ожидаемой папке.
- Передайте изображение в ноду с задачей captioning и выведите её текст в preview или файл.
- Сравните подпись с фото: проверьте одежду, позу, фон, цвет, руки и количество людей.
Точное соединение портов зависит от пакета нод. Например, в ComfyUI-Florence2 реализованы загрузка модели и узел обработки изображения с выбранной задачей. Если workflow содержит Florence Model Loader, а у вас установлен другой пакет, внешне похожее имя не гарантирует совместимость. [Репозиторий ноды]
Какие подписи полезны для LoRA
Caption должен отражать то, что требуется изменять или различать при генерации. Обычно полезно описывать одежду, позу, ракурс, эмоцию, освещение и фон, когда они меняются между кадрами. Постоянные черты персонажа и триггер-слово требуют отдельной стратегии: если вы автоматически повторите каждую деталь внешности в каждом файле, модель может связать их с текстом неожиданным образом. Решение зависит от цели обучения и базовой модели; готовой универсальной формулы для всех датасетов нет. [Hugging Face: LoRA]
Автоматические подписи часто слишком длинны для небольшой серии фото. Сократите повторяющиеся вводные и исправьте ошибочные детали. Не стоит оставлять в подписи «улыбка», если на изображении лицо нейтрально. Перед массовым экспортом проверьте хотя бы несколько кадров из разных условий: крупный портрет, полный рост, сложный фон и необычный ракурс.
Почему загрузчик не видит модель
| Признак | Вероятная проверка |
|---|---|
| В списке моделей пусто | Путь загрузчика и структура каталога пакета |
| Ошибка при скачивании | Сеть, доступное место, права записи |
| Нода красная | Импорт пакета, зависимости, совместимость версий |
| Текст бессмысленный | Задача captioning, входное изображение, выбранная модель |
Проверьте сначала README своего пакета: некоторые загрузчики скачивают модель по имени, другие ждут локальный каталог. Не переименовывайте файлы и не переносите их в общую папку checkpoints, пока не увидите точное требование загрузчика. При ошибке импорта читайте лог запуска ComfyUI. [ComfyUI-Florence2]
Короткие ответы
Можно ли доверить Florence весь датасет без проверки?
Лучше использовать его как черновой captioner. Ошибочные подписи становятся шумом в обучении, особенно на небольшом наборе.
Нужна ли Florence для обучения LoRA?
Нет. Подписи можно написать вручную или получить другим инструментом. Florence полезна, когда надо ускорить первичную разметку большой серии фото.