Часто-задаваемые вопросы
- Чем вы тут занимаетесь?
- Как поставить на ПК/Облако?
- Модели
- А может ли нейронка...
- Полезные советы
- Как писать промпты?
- Где искать наборы тегов?
- Что за (((скобочки))) еще и [квадратные] с (циферками:0.42) в промптах?
- Негативные эмбеддинги
- Как активировать тёмный интерфейс?
- Как мне поставить генерацию картинок на ночь?
- Как восстановить последние использованные настройки после перезапуска автоматика?
- Как мне поменять максимальное значение ползунков в интерфейсе?
- Как мне вынести настройке VAE и Clip-skip в верхнюю часть интерфейса?
- Я сгенерировал хорошую картинку, но на ней есть косяк...
- Как вы создаёте эти огромные 4k/8k картинки?
- Популярные проблемы
Чем вы тут занимаетесь?
Генерируем картинки при помощи нейросетей.
Обрати внимание, что на доске /ai/ существует несколько профильных тредов по нейро-генерациям картинок. Самые живые из них это:
- /nai/ - для аниме-тяночек
- /sd/ - для уклона в реализм
Как поставить на ПК/Облако?
Наиболее популярным и развитым интерфейсом на данный момент является Stable Diffusion web UI, автором которого является AUTOMATIC1111, он же Автоматик, каломатик, поломатик, voldy. Именно этот интерфейс рекомендуется к установке и о нем пойдет речь далее.
Еще существует несколько форков, так же стоит упомянуть о проекте альтернативного node-based интерфейса ComfyUI. Будучи более сложным в освоении он позволяет организовывать автоматизировать разные операции и делать длинные конвееры, однако сложнее в освоении и не рекомендуется ньюфагам.
Про модель NovelAI (NAI)
Некоторые из старых гайдов описывают процесс установки модели NovelAI (NAI), которая сейчас сильно устарела. Настоятельно рекомендуется вместо неё скачать любую другую актуальную модель https://rentry.co/nai_faq#какую-модель-выбрать-для-вката
Проблема с новыми драйверами NVidia
Драйвера NVidia версии выше 531 используют Shared Memory (фактически, речь идёт про обычную RAM) после исчерпания VRAM, что позволяет избежать ошибок рода Out Of Memory. Цена этого - резкое снижение производительности (вплоть до x10-50 раз) при исчерпании VRAM. При переполнении VRAM, память возвращается в норму только после перезапуска WebUI - простой перезапуск генерации не поможет.
Подробнее:
https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/11063
https://github.com/vladmandic/automatic/discussions/1285
Windows + NVidia
Нужна видеокарта хотя-бы 4гб врам, больше - лучше.
https://github.com/EmpireMediaScience/A1111-Web-UI-Installer - установщик для ленивых, не обновлялся уже полгода
https://github.com/LykosAI/StabilityMatrix - автор вышеупомянутого установщика рекомендует использовать данный автоинсталлер, но его никто не тестировал итт
https://rentry.co/2ch_nai_guide - подробный гайд по установке, генерации, апскейлу
Windows + AMD
https://rentry.co/SD-amd-gpu - инструкция по установке для Windows, а так же общие советы по AMD + Linux
Linux + NVidia
https://rentry.co/voldy#-linux-installation-
Linux + AMD
https://rentry.co/sdamd#arch-unofficial-repository
https://rentry.co/sd-nativeisekaitoo
Генерируем в облаках (на мощностях гугла, есть лимиты)
Запрет запуска Stable Diffusion в Colab
По состоянию на 9 сентября 2023 г. Google ограничивает использование любых коллабов связанных со Stable Diffusion (не только web-ui) для всех пользователей на стороне сервера. При использовании коллабов связанных со Stable Diffusion будьте готовы к тому, что для вашей учётной записи могут полностью запретить использование любых коллабов.
Тред с обсуждением по поводу ограничений коллаба: https://2ch.hk/ai/res/484180.html
Совет от анона: "Не тыкайте слишком быстро"
Если слишком часто запускать генерации, либо переключаться с txt2img на img2img, то происходит дисконект. Сначала я не особо понимал, почему, но потом в каком-то треде наткнулся и действительно, если особо не рыпаться, то можно часами сидеть. Видимо какой-то хитрый скрипт прикрутили.
Конфиденциальность коллабов
Использование коллабов является небезопасным с точки зрения конфиденциальности. Если вы используете чужой блокнот, исходите из предположения, что автор данного блокнота может собирать о вас такую информацию как: IP-адрес, фингерпринт браузера, ваши промпты и итоговые генерации.
Про коллаб от анона
Автор анон-коллаба решил "пошутить", сперва добавив молитвы и цитаты из Библии при генерации, а затем целенаправленно вкидывал (дез?)информацию о наличии вишмастеров в своём коллабе. Используй данный коллаб на свой страх и риск.
Так же достоверно известно, что владелец данного коллаба собирает, как минимум, часть информации, описанной в предупреждении выше.
https://teletype.in/@stablediffusion/Colab_StableDiffusion - описание функционала коллаба и набор ссылок на несколько готовых блокнотов. С осторожностью используй первый блокнот из статьи - смотри два верхних предупреждения.
https://github.com/camenduru/stable-diffusion-webui-colab - список альтернативных коллабов. В настоящий момент для обхода ограничений гугла достаточно убрать из текста коллаба надпись "stable-diffusion-webui" (более подробно - смотри статью ниже).
https://rentry.co/sd_collab_restrictions - что известно о механизмах работы ограничений в Google Colab.
https://rentry.co/sd_collab_filter_bypass - юзерскрипт для отключения фильтров коллаба со стороны фронта (работает не у всех, так что вариант с правкой исходников кода коллаба из статьи выше более надёжный).
https://habr.com/ru/articles/748316 - обход фильтров посредством подгрузки скриптов из стороннего файла. Согласно сведениям анона, данная статья на хабре включает в себя ложные сведения:
Они стали называть папки не Stable-Diffusion-webui а sd-webui
Как вы понимаете, тема проработала буквально неделю
Пиздит. Я 3 месяца спокойно пользовался колабом с переименованной папкой, которую тупо грузил с гуглдиска.
С Июля где-то пришлось перейти на замену текста переменными, но до сих пор гружу с гуглдиска свои лоры-модели
А в статье какой-то слишком шаманский и неудобный способ но можно сохранить на случай, если переменные перестанут работать
Общие гайды
https://rentry.co/voldy - гайд от автора webui
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-on-AMD-GPUs - гайд по установке для AMD от автора webui
https://rentry.co/nai-speedrun - старый гайд по установке NAI Leak + бонус Аска-тест (проверка, что всё работает как надо)
Модели
Какую модель выбрать для вката?
- Посмотри список ниже и выбери модель по вкусу:
SD 1.5: https://civitai.com/collections/42742
SD XL: https://civitai.com/collections/42753 - Если понравилась картинка кого-то из анонов в треде, спроси его, какую модель он использует
- Если хочется поискать чего-то нового, глянь топы моделей на цивите
Нужна ли мне модель Stable Diffusion?
Для генерации аниме данная модель не нужна ни в каком виде.
Почему тогда в треде и здесь постоянно мелькает название Stable Diffusion?
Это первая публичная модель для генерации изображений. Такие модели как NovelAI и WaifuDiffusion являются дообученными версиями данной модели и копируют её архитектуру.
Почему тред называется NovelAI and WaifuDiffusion? Мне нужно смотреть в первую очередь эти две модели?
Модель NovelAI (NAI) является первой SD-моделью в стилистике аниме, которая попала в публичный доступ. Почти все известные миксы аниме-моделей так или иначе основаны на данной модели. Можете считать её "Адамом" от мира аниме-моделей. Данную модель самостоятельно никто не использует, разве что в качестве базовой модели для обучения своих собственных моделей.
WaifuDiffusion является единственной широкоизвестной попыткой создания аниме-модели независимо от NovelAI, так что она является уникальной в своём роде, хотя её никто не использует, поскольку существующие альтернативы в виде различных миксов на NAI превосходят её.
Прочие модели
FAQ по моделям
ckpt или safetensors
.ckpt
- это старый формат моделей. Кроме весов, он содержит исполняемый код на python, который может быть вредоносным, сейчас встречается редко, рекомендуется избегать.
.safetensors
это более новый формат - он не хранит ничего, кроме весов модели. При наличии выбора из этих двух форматов всегда выбирай safetensors
.
fp16 или fp32
Модели fp16 используют в два раза меньшее число бит для описания отдельных весов нейронки, что приводит к уменьшению веса модели в два раза. Иными словами, fp16 менее точные, но более легковесные и быстрее загружаются в видеопамять. По умолчанию даже fp32 модель загружается с половинной точностью, поэтому профита от большего размера не будет. Стоит отметить, что фактическую разницу получившихся картинок между fp16 и fp32 надо выискивать под лупой - влияние на качество должно быть в теории, на практике его не заметно.
full или pruned
В pruned версиях модели удалены избыточные связи внутри нейронки, что приводит к тому, что она занимает меньше места. В теории, это слегка ухудшает качество модели, на практике разница малозаметна.
Стоит отметить, что некоторые гайды по лорам советуют использовать именно full версии нейронок для обучения.
А может ли нейронка...
Нейронка может раздеть мою ЕОТ?
Да, при помощи Inpaint можно обработать существующую фотографию, а, обучив лору, ты сможешь генерировать любое количество контента с твоей ЕОТ.
Но с такими реквестами лучше в SD-тред.
Нейронка может сгенерировать картинки с %waifu_name%?
Зависит от того, насколько твоя вайфу популярна.
- Если это что-то популярное (например Аска или Мегумин), то просто используй теги персонажа с бур и получишь приемлемый результат
- Если результат не понравился, можешь попробовать найти готовую лору для твоей вайфу на https://civitai.com
- Если ничего не смог найти, то тогда остаётся только обучить собственную лору. Гайды по обучению закреплены в шапке треда
Полезные советы
Как писать промпты?
Не забывай смотреть на рекомендации к составлению промптов для своей модели
https://teletype.in/@stablediffusion/artists_for_prompts - старый гайд по составлению промтов на русском
https://stable-diffusion-art.com/prompt-guide - основная инфа по составлению промптов
https://civitai.com/articles/983/insights-for-intermediates-how-to-craft-the-images-you-want-with-a1111 - гайд по составлению промптов для продвинутых
https://supagruen.github.io/StableDiffusion-CheatSheet - стили художников (тестировалось на Delibirate и Dreamshaper)
https://arhivach.top/thread/855807 - архив треда с исследованием анона по стилям художников, архитекторов, модельеров и т.п. Тестировалось на моделях с подмешанным Trinart
Где искать наборы тегов?
https://civitai.com/tag/wildcards - готовые наборы wildcards
https://rentry.co/NAIwildcards - старый блокнот с извлечёнными списками тегов с бур по категориям
https://danbooru.donmai.us/wiki_pages/tag_groups - здесь можно ознакомиться со списком тегов с danbooru. Данные теги, как правило, используются для обучения аниме-моделей, так что если какой-либо тег на буре является популярным, то аниме-модели, вероятнее всего, про него знают
Что за (((скобочки))) еще и [квадратные] с (циферками:0.42) в промптах?
Использование ()
повышает приоритет и значимость тега, а []
уменьшает. Нейронка может воспринять такое усиление тега даже слишком буквально (смотри пик ниже). Скобочки можно вкладывать друг-в-друга. Но гораздо удобнее выделять нужные теги и менять их вес при помощи ctrl+ вверх/вниз чтобы выставлять числа.
(тег)
- увеличивает силу тега в 1.1 раз
((тег))
- увеличивает силу тега в 1.21 раз (= 1.1 * 1.1)
[тег]
- уменьшает силу тега в 1.1 раз
(тег:1.5)
- увеличивает силу тега в 1.5 раза
(тег:0.25)
- уменьшает силу тега в 4 раза (= 1 / 0.25)
\(тег\)
- экранирование скобок при помощи обратного слеша необходимо если скобки должны являться частью тега, например, при указании имени персонажа с указанием тайтла, в соответствии с его тегом на бурах. Делай так: rem \(re:zero\)
, не так .rem (re:zero)
При использовании лор её вес можно указывать без взятия в дополнительные скобки: <lora:examplelora:0.4>
Негативные эмбеддинги
Что такое эмбеддинги?
Embeddings (Textual Inversion, эмбеддинги) представляют собой кусок промпта закодированный в числовой вектор, который наилучшим образом описывает изображения, на которых конкретный эмбеддинг был обучен. Таким образом, эмбеддинги не "расширяют" вашу основную модель (в отличии от тех же LoRA-моделей), а лишь выжимают из неё максимум, посредстом задания куска промпта, который наилучшим образом описывает нужный для вас концепт.
Негативные эмбеддинги обучаются на нежелательном контенте: вы можете использовать их в негативном промпте для улучшения качества генерируемых изображений.
Где взять негативные эмбеддинги?
Большую часть негативных эмбеддингов отсортированных по числу скачиваний можно найти здесь.
Раньше популярностью в треде пользовались следующие эмбеддинги:
BadHands: https://huggingface.co/yesyeahvh/bad-hands-5/tree/main
BadPrompt: https://huggingface.co/datasets/Nerfgun3/bad_prompt/tree/main
EasyNegative: https://huggingface.co/datasets/gsdf/EasyNegative/tree/main
(последние два необязательно сделают картинку лучше, но на стиль повлияют)
Как использовать негативные эмбеддинги?
Скачай файл эмбеддинга и помести его в папку "embeddings", которая находится в корневой директории автоматика. Для его применения необходимо указать имя файла эмбеддинга без расширения в негативном промпте таким же образом, как указываешь обычный тег (для использования эмбеддинга "bad-hands-5.pt" в промпте укажи bad-hands-5
). Так же для эмбеддингов можно настраивать веса при необходимости.
Пример простого негативного промпта, который использует эмбеддинг, может выглядеть так:
(worst quality, low quality:1.3), (bad-hands-5:0.8)
Если всё сделал правильно, то информация об использованном эмбеддинге будет отображаться рядом с инфой о генерации.
Как активировать тёмный интерфейс?
Добавь --theme dark
в параметрах запуска батника.
Как мне поставить генерацию картинок на ночь?
Правая кнопка мыши на кнопку "Generate" -> "Generate forever".
Как восстановить последние использованные настройки после перезапуска автоматика?
1. Используй синюю кнопку со стрелкой, которая находится под кнопкой генерации
2. Либо используй плагин stable-diffusion-webui-state
Поставь плагин, перезапусти автоматик, перейди в Settings -> State и там выбери, какие из настроек ты хочешь сохранять после перезапуска.
Как мне поменять максимальное значение ползунков в интерфейсе?
Множество настроек, связанных со значениями по умолчанию и с предельными значениями устанавливаются в файле ui-config.json
, который находится в корневой директории автоматика.
К примеру, изменив выделенную строку на изображении ниже, ты можешь изменить максимально-доступную ширину картинки в режиме txt2img.
Как мне вынести настройке VAE и Clip-skip в верхнюю часть интерфейса?
Открой "Settings -> User interface" и выстави в поле "Quicksettings list" следующую строку: sd_model_checkpoint,sd_vae,CLIP_stop_at_last_layers
Я сгенерировал хорошую картинку, но на ней есть косяк...
Есть несколько вариантов:
Используй Inpaint.
Используй Variation seed.
Надо либо добавить конкретику, либо перекрёстные ссылки на связанные статьи.
Другой вариант:
Оставьте промпт без изменений, но поиграйте с весами некоторых тегов, например, уменьшите blue hair
до (blue hair: 0.6)
. Либо же поменяйте порядок тегов в промпте, поскольку изменение порядка повлияет на итоговый результат.
Как вы создаёте эти огромные 4k/8k картинки?
При помощи скриптов SD Upscale или Ultimate SD Upscale. Данные скрипты предоставляют функционал апскейла изображения посредством разбиения его на отдельные кусочки (тайтлы) и масшабированием их по отдельности, чтобы обойти ограничения по лимиту видеопамяти. При помощи данных скриптов можно создавать изображения любого размера.
В шапке треда закреплено несколько гайдов по апскейлу.
Для примера - одним из анонов при помощи скрипта SD Upscale была создана картинка Гига-Сырны размером 24576 х 18432 (450 мегапикселов):
(оригинал утерян, есть только сжатая версия)
Кроп 1500х1125 из неё:
Популярные проблемы
Почему у моей вайфу неправильное количество пальцев?
Это общая проблема для всех актуальных аниме-моделей. Либо используй читы в виде какого-нибудь из тегов рода:
arms behind head
arms behind back
arms between legs
arms in pockets
Либо читай варианты решения здесь.
Почему у моей вайфу фиолетовые синяки?
У вас не подключено VAE. Как чинить читай тут.
Почему моя вайфу генерируется несколько раз на одной картинке?
- Используй позитивные теги
1girl, solo
и негативные2girls, multiple characters
- Уменьши стартовый размер картинки и увеличивай её при помощи hires.fix. Стартовые изображения, размером сильно большим чем 512x512, имеют тенденцию к генерации многоруких мутантов и множества персонажей
- Уменьши denoising strength если ты используешь hires. fix
Про минимальный дейнойз для латента стоит упомянуть
Сгенерировал чёрный квадрат
Пропиши в параметрах webui-user.bat
аргумент set COMMANDLINE_ARGS= --no-half-vae
. Для карт 16 линейки можно --precision full --no-half
.