Гайд по KoboldAI
Локальный запуск
- Скачать последнюю версию здесь:
https://github.com/KoboldAI/KoboldAI-Client/releases - После установки запустить "KoboldAI (Local)" от Администратора
- Открыть в браузере ссылку: http://127.0.0.1:5000/
- Нажать AI - > NSFW Models - > Erebus 2.7B (NSFW) 8GB. При первом запуске начнет скачиваться модель (~5Гб)
- Нажать Settings и настроить параметры:
- Amount to Generate: 150 - регулирует количество генерируемого текста
- Temperature: 0.7 - рандомность текста. Слишком мало - впадает в луп, слишком много - включается шиза
- Max Tokens: 1500 - количество токенов, которые попадают в контекст. Лучше ставить больше, но на больших количествах может не хватить памяти при генерации
- Chat mode: On - включает режим, в котором кобольд будет обрезать генерацию до момента, когда должна быть твоя реплика
- Нажать Memory и прописать предысторию. Применить, нажав Enter
- Нажать W info и добавить информацию об окружении
- Прописать завязку и нажать Submit для генерации
FAQ
- Как запустить модель, если не хватает VRAM?
- При запуске через ползунки GPU/Disk Layers указать, сколько слоев будет в VRAM. Но при этом генерация будет выполняться на процессоре, что намного медленнее (несколько минут на ответ)
- Как запустить в гугл коллабе?
- Инструкция с форча картинкой: https://files.catbox.moe/57tz1p.png
- Как запустить с видеокартой AMD?
- Надо пердолиться с линуксом, ищи гайд на гитхабе
Генерация ответов в стиле ChAI
Существует проект по созданию полноценной оболочки: https://github.com/TavernAI/TavernAI
Для запуска нужен NodeJS.
В ванильном кобольде можно попробовать так:
Чтобы сеть лучше различала твои и свои реплики, можно описывать действия от третьего лица, и писать в стиле:
- Твое_имя: "твоя фраза" твои действия
- Бот: "его ответ" его действия
Для пропуска своей фразы писать пустые кавычки.
Но при этом ответы бота и описания становятся проще и однотипнее, по сравнению с генерацией истории в стиле обычного рассказа.
Пример memory и промпта:
- Memory:
- Prompt: