Шапка треда

[B]PygmalionAI тред №XXX[/B]
https://huggingface.co/PygmalionAI
[B]PygmalionAI[/B] - открытая модель, которая основана на GPT-J и дотренирована в основном с дампов из истории чатов в CharacterAI. Сделана анонами из 4chan, которые сидели в разделе /vt, а затем перешли в /g. Dev от обычной отличается тем, что активно разивается и допиливается, внедряя некоторые особенности. Главным минусом является то, что многие открытые модели использует в основе токенайзер от GPT-2, контекст которого ограничен в 2048 токенов. Другие модели, как GPT-3 и GPT-4, имеют закрытый исходный код. Для тех, у кого есть только Nvidia с 8ГБ видеопамяти, могут использовать Text generation web UI с GPTQ, который снизит точность до 4 бит. Если у вас мало видеопамяти, то только koboldcpp, который использует для работы процессор и оперативную память.
Системные требования для PygmalionAI:
16 бит: 14-16 ГБ VRAM, 12ГБ RAM
8 бит: 8 ГБ VRAM, 6 ГБ RAM
4 бит: 4.6 ГБ VRAM, 3-4 ГБ RAM
4 бит Koboldcpp: 8 ГБ RAM
Модели, которые квантизировали до 4 бит:
GPTQ:
https://huggingface.co/mayaeary/pygmalion-6b-4bit-128g - Original
https://huggingface.co/mayaeary/pygmalion-6b_dev-4bit-128g - Dev
https://huggingface.co/mayaeary/PPO_Pygway-6b-Mix-4bit-128g - микс, где основная модель PygmalionAI - 60%, которая была смешана с Janeway - 20% и pro_hh_gpt-j - 20%.
https://huggingface.co/mayaeary/PPO_Pygway-V8p4_Dev-6b-4bit-128g - микс, в котором используется Dev версия PygmalionAI.
GGML: https://huggingface.co/alpindale/pygmalion-6b-ggml
[B]GUI для PygmalionAI:[/B]
1.Text generation web UI
https://github.com/oobabooga/text-generation-webui
Colab: https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb

2.TavernAI.
https://github.com/TavernAI/TavernAI
https://github.com/SillyLossy/TavernAI - форк, который может запуститься на Android.
Colab: https://colab.research.google.com/github/TavernAI/TavernAI/blob/main/colab/GPU.ipynb

3.KoboldAI.
https://github.com/KoboldAI/KoboldAI-Client - Official (Стабильная версия)
https://github.com/henk717/KoboldAI - United (Экспериментальная версия)
https://github.com/LostRuins/koboldcpp - версия, которая может запуститься на процессоре.
Colab KoboldAI GPU: https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb
[spoiler]Colab KoboldAI TPU https://colab.research.google.com/github/KoboldAI/KoboldAI-Client/blob/main/colab/TPU.ipynb[/spoiler] - Пока Google не исправит драйвера для TPU, эта версия бесполезна.

[B]Полезные ссылки:[/B] https://rentry.org/2ch-pygmalionlinks
Промпты от анонов с 2ch: https://rentry.org/2ch-pygmaprompts
Гайды по установке интерфейсов: https://rentry.org/pygmai-guifaq
[B]Шапка треда:[/B] https://rentry.org/2ch-pygma-thread

Edit
Pub: 08 Feb 2023 15:18 UTC
Edit: 04 Apr 2023 15:10 UTC
Views: 1401