Чем LoRA для Wan отличается от LoRA для ZIT и Flux

Короткий ответ. LoRA для Wan, Z-Image Turbo (ZIT) и Flux нельзя считать одним взаимозаменяемым файлом. Адаптер обучается под конкретную архитектуру и семейство базовых весов; загрузчик и workflow должны совпадать с этой базой. Wan обычно используют для видео, Z-Image и Flux — для изображения, поэтому различаются не только файлы модели, но и цель датасета и тесты качества. Один и тот же набор снимков можно использовать как исходные материалы для разных экспериментов, но LoRA придётся обучать отдельно. Общее объяснение LoRA даёт Hugging Face Diffusers.

Почему файл LoRA привязан к базе

LoRA хранит небольшие обученные изменения определённых слоёв исходной модели. Если у другой архитектуры иной набор слоёв, их размеры или названия, адаптер не может корректно примениться. Даже внутри одного семейства важны версия модели, тип задачи и, иногда, конкретный вариант checkpoint. Поэтому после скачивания адаптера сначала читайте карточку: база, версия, поддерживаемый workflow, рекомендуемый вес и условия лицензии. Не ориентируйтесь только на расширение .safetensors. Оно показывает формат файла, но не совместимость.

Для Wan важно уточнять, обучалась ли LoRA на нужной версии и режиме видео. Для Z-Image Turbo проверьте, что адаптер создан именно под используемую базу Z-Image и способ её загрузки. Для Flux сравните версию и конфигурацию text encoder. Официальные workflow ComfyUI для конкретной модели перечисляют состав компонентов, например Z-Image Turbo. Настройка Wan для обучения отдельно описана в Hugging Face Finetrainers.

Что меняется в подготовке датасета

Для LoRA персонажа в статичных изображениях важны разнообразные ракурсы, освещение, фон и качество лица. Для видеозадачи добавляется движение: последовательность кадров, стабильность внешности и понятное действие. Набор из красивых портретов не доказывает, что модель будет держать персонажа в движении. И наоборот, видеоклипы плохого качества могут ухудшить чистоту лица. Метод подготовки зависит от тренера: некоторые принимают видео, другие сначала извлекают кадры. Проверьте его схему данных до сбора материала.

Подписи тоже должны отвечать задаче. Для изображения описывайте меняющиеся элементы сцены, которые хотите контролировать текстом. Для видео может понадобиться описание действия и динамики, если этого ждёт выбранный тренер. Не переносите caption-файлы механически из одного эксперимента в другой: одинаковые слова могут привязать к персонажу случайный фон или одну позу.

Как понять, какая LoRA перед вами

1. Посмотрите карточку модели и точное название базовой модели, на которой адаптер обучался.
2. Проверьте, для чего он предназначен: text-to-image, image-to-image, text-to-video или image-to-video.
3. Сравните пример workflow с вашей версией ComfyUI и используемыми загрузчиками.
4. Проверьте совместимость версии, а не только слова Wan, Flux или Z-Image в названии.
5. Сделайте короткий тест с базой без LoRA и с LoRA, меняя только один параметр.

Если ComfyUI пишет об ошибке формы тензора, неизвестных ключах или несовместимости загрузчика, это повод проверить базу и адаптер, а не просто повысить VRAM. Если LoRA формально загрузилась, но не влияет на результат, убедитесь, что она действительно подключена в нужной ветке графа и что вес применения отличен от нуля. Название файла не гарантирует, что граф использует его в момент генерации.

Стоит ли учить три LoRA на одном исходном материале

Это разумно, если вам действительно нужны разные выходы: например, изображения для каталога и видеосцены с тем же персонажем. Но начните с одной базовой модели, чтобы проверить качество исходников. Затем адаптируйте датасет и конфигурацию под следующий тренер. Сравнивайте результат отдельно: похожесть лица в картинке и устойчивость образа в видео — разные метрики. Один «универсальный» показатель качества здесь не работает.

Не копируйте численные настройки learning rate, rank или число шагов между Wan, Z-Image и Flux без документации тренера. Стоимость, память и скорость тоже различаются. Выбирайте архитектуру под конечный формат, а не по обещанию, что один файл LoRA запустится в любом workflow.

Частые вопросы

Можно ли применить Flux LoRA к Wan?

Обычно нет: это разные базовые архитектуры. Найдите адаптер, обученный под нужную версию Wan, или обучите новый.

Если датасет один, результат будет одинаковым?

Нет. Различаются сама база, цель обучения и способ генерации. Общие исходники помогают сохранить образ, но качество проверяется отдельно.