Ультимативний гайд для чайників зі спілкування з нейромережами або просто FAQ з нейромереж і спілкування з ботами.
Термінологія
Це те, з чим ти і будеш спілкуватися і ролеплеїти. Основні використовувані типи нейромереж, які перевершують cai за параметрами, надають тільки великі компанії (OpenAI, Anthropic). OpenAI моделі вирізняються слабшими фільтрами, але меншою поетичністю і кращим розумінням контексту. Моделі від Anthropic наразі (12.06.23) переживають накрутку фільтрів, через що промпти, джейли і навіть деякі персонажі можуть не проходити "ворд-фільтр" нейронки, через що підуть повідомлення про неможливість надати такий контент. Самі ж їхні моделі вирізняються більш мальовничими описами і графоманією. Нижче будуть більш детально розібрані основні моделі від цих компаній:
1 . від OpenAI: GPT 3.5 Turbo, GPT-4, GPT-4-32k.
1.2 GPT-3.5 або просто "турба" більш поширена. Вона досить дешева і з нею досить багато проксей, а так само ключі від неї можна легко знайти у вільному доступі. Має 4096 контекстів, що вдвічі більше, ніж у cai. Фільтри слабкі, можна робити все, що душа забажає. Доступна безкоштовно в poe.com UPD: Після нещодавніх оновлень, у турби є версія на 16k контексту, порівняно зі старою "березневою" турбою трохи посилили фільтри, але незначно.
1.3 GPT-4 або просто "четвірка" -- на поточний момент, найпросунутіша і найжирніша модель від OpenAI, має 8096 контекстів, а також 1 трильйон параметрів, що означає її найвищий інтелект. Фільтри постійно крутять, тому потрібно трохи повозитися з JailbBreaks або в народі джейлами, які коригують поведінку і відповіді нейронки. Доступність зараз дуже сильно просіла після того, як власники ключів і самі попени почали драконити всі витоки, тому відкритих проксей з четвіркою зараз немає, тільки клуби за інвайт. Є платний доступ у poe.com UPD: Після 07.07.2023, OpenAI увімкнули відкритий доступ для GPT-4 і всі ОПЛАТКОВАНІ акаунти мають доступи до GPT-4, щоправда, якщо ви зібралися платити гроші за GPT-4, поспішаю засмутити - повний промпт з оутпутом у середньому на 300-400 токенів на GPT-4 коштує 0,34~ долара, це приблизно 30 центів або попросту майже 30 рублів. Якщо за одне повідомлення ви готові стільки платити, то можете оплачувати доступ.
1.4 GPT-4-32k -- та ж сама четвірка, тільки з 32 тис. контексту. Лише кілька разів була у відкритому доступі, від четвірки на 8 тис. відрізняється лише високою швидкодією і більшим контекстом. Можливо, у майбутньому буде її трохи більше, але зараз статус доступу до неї лише в обраних в одному клубі.
1.5 Bing Sydney або ж сідні -- чат-бот бінга, заснований на GPT-4, має до 20к контексту, але має фільтри, як у cai, зате без черг і без лоботомії. Можна використовувати перекидання для дописування цензурованих повідомлень. Налаштовується через Бібу в цьому репозиторії (https://github.com/Barbariskaa/Biba -- тільки для користувачів ПК).
1.6 GPT-3.5-16k -- свіжа модель від OpenAI, по суті та сама турба, але з 16к контексту. Ціна навіть зменшилася, завдяки чому використовувати турбу можна майже безлімітно. Цілком собі придатний варіант для ролеплей-ігор з ботом, чекаємо оновлення фронтендів, щоб завезли її підтримку. UPD: В останній версії SillyTavern додали підтримку GPT-3.5-16k, ставте !Dev! версію SillyTavern, чекаємо оновлення в Agnai і RisuAI.
2 . від Anthropic: Claude-Instant, Claude-v1, Claude-v1.2, Claude-v1.3.
2.1 Claude-Instant -- простенька текстова модель, інтелект гірший, ніж у турби, безоплатно доступний у poe.com Для переписування тексту або написання карток зійде, але для ролеплея не рекомендується, має версію зі 100 тис. контексту.
2.2 Claude-v1 -- основна модель, яку ти і будеш використовувати за наявності API ключа або Слака (https://github.com/Barbariskaa/Spermack -- тільки для користувачів ПК). Найбільш оновлювана модель, але з сильнішими фільтрами, під нього потрібно брати окремі джейли. Для користувачів API або проксі є версія зі 100 тис. контексту.
2.3 Claude-v1.2 -- інша версія, краще слідує інструкціям і кодить, фільтри слабкіші. Доступна лише власникам API, або на проксях, має тільки 9к контексту.
2.4 Claude-v1.3 -- третя версія, зроблена для написання, перекладів і перебирання тексту. Різниці з v1 зараз практично немає, доступна через API, або проксі. Є версія зі 100к контексту.
3 Є окрема нейронка, яка раніше була у вільному доступі. У простому народі називається Тоддом, через характерний вбудований промпт і жарти про скайрім. За якістю на поточний момент це щось середнє між турбою і четвіркою, має 32к контексту, проблеми з розміткою. Наразі недоступна в пабліку і доступ можна отримати лише написавши запит на пошту, щоб видали ключ до проксі та посилання на матрицю. Пошта Тодда: [email protected]
Додатково, є тир-лист нейромереж для тих, хто в цьому зацікавлений. Обережно, англійська мова: https://chat.lmsys.org/?leaderboard
Контекст
Те, скільки нейронка запам'ятовуватиме під час діалогу. Що більше, то більше вона запам'ятає під час діалогу. Основні розміри контексту у більш поширених моделей:
Character.ai - 2048 контекстів
Pygmalion - 2048 контексту
GPT 3.5 Турба - 4096 контекстів
GPT-3.5-16k - Та ж сама турба, але з 16000 контексту.
GPT-4 - 8191 контекст
GPT-4-32k - 32000 контексту
Claude-v1,v1.2,v1,3,instnant без приписки "100k" - 9000 контексту
Claude-v1,v1.3,instant з припискою 100k - 100000 контексту
Proxy (Проксі) або Reverse Proxy (реверс проксі) і де їх брати
Цим називають хаб або просто міст між користувачем і бекендом, де поширюють ключі серед користувачів, тому що ключі в пабліку можуть ревокнути (відкликати). Робиться за рахунок ентуазистів, найжирніші проксі перебувають у секретних клубах, куди запрошення тільки через ліжко через запрошення. Проксі шукаємо тут: (https://navigatethecoom.github.io/navigate/). Посилання на проксі береться в рядку "openai": "посилання_на_проксі" Приватні проксі сюди, звісно ж, не потрапляють, тому рекомендую дивитися треди і самому вишукувати проксі, якщо щось публікують. Для новачка, найактуальніші проксі на поточний момент такі:
"https://username84-g.hf.space/proxy/anthropic/v1 -- Claude, пароль: 'desu'. Для використання в SillyTavern потрібно ввімкнути галочку streaming (стиримінг), у налаштуваннях VenusAI і Agnai теж саме.
https://ashpepel-ashpepel.hf.space/proxy/anthropic/v1 -- Claude, пароль: "Govnostic".
https://pashatehnik-wraitinginc.hf.space/proxy/anthropic/v1 - "runduk"
Важливо! Кожне посилання на проксі в SillyTavern і Agnai ОБОВ'ЯЗКОВО повинно мати в кінці приставку "/v1"!!! Якщо в Agnai ти сидиш через Claude, то додавай в кінець "/v1/complete"!
Токени
Це умовні одиниці, якими вимірюється обсяг повідомлення для пам'яті нейронки. Використовується, як число пам'яті у нейронки. Тим більше у нейронки, чим більше вона запам'ятає під час діалогу. Для підрахунку рекомендую використовувати цей сайт: https://platform.openai.com/tokenizer
Так само, нагадаю, що токени формуються зі слів, які ти пишеш нейронці. Оскільки більшість нейронок тренувалася на англійських текстах, їхній токенайзер налаштований насамперед на латиницю. Тому дуже не рекомендується спілкуватися з ботом через OpenAI мовами, відмінними від англійської, кирилиця їсть токенів майже вдвічі більше, ніж англійський текст, ти можеш сам це перевірити, перевіривши російську та англійську пропозицію в токенайзері. Російською в принципі можна ролеплеїти і спілкуватися, якщо у тебе є API ключ від Claude або проксі з Claude, він краще сприймає інші мови, оскільки був натренований для перекладу текстів. Але все одно, токенайзер Claude виділяє значно більше токенів кирилиці, ніж російським словам, але можеш поролеплеїти російською з Claude, якщо хочеш, якщо маєш модель зі 100к контексту.
Увага. Хоч зараз і з'явилися моделі з контекстом значно більшим, ніж 8 тис., рекомендую під час використання або написання кард не писати або використовувати карти з овер9000 токенів. Промпт (підказка) для карти повинен бути коротким і зрозумілим, тут працює крилатий вислів "Стислість -- сестра таланту."
Фронтенд для нейронки
Це інтерфейс, через який будеш спілкуватися із самою сіткою. Зараз є кілька варіантів, як локальний з великим функціоналом, наприклад SillyTavern, так і у вигляді сайтів, але з більш обмеженим функціоналом, на Agnai, VenusAI s RisuAI.
Промпт/картка персонажа
Це підказка для нейронки, щоб вона поводилася так, як зазначено. Є як базовий промпт поведінки, так і промпт персонажа, який додано в картки. Самі ж картки персонажів із промптом можна завантажити на chub.ai.
Так само ультимативний ресурс для створення своїх карт/редагування вже створених:
https://zoltanai.github.io/character-editor/
Джейлбрейк і системний промпт
Це основні підказки для нейронки, щоб підказувати, як триватиме діалог і ролеплей між людиною і самою нейромережею. Джейлбрейк від слова "зламати в'язницю" зроблений для того, щоб обійти фільтри і захисні механізми нейронки, з кожним місяцем закручують гайки і деякі джейли (не без допомоги одного сірого чарівника) втрачають актуальність. Благо, зараз вже є велика база промптів і можна робити свої. Посилання на наявні промпти і джейлбрейки: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/fumblebum | https://rentry.co/pitanonbots#claude-rp-prompts | https://rentry.co/XML-dva-shiza
SillyTavern вона ж Таверна або просто дурна таверна
Один з основних інтерфейсів для використання як фронтенду для нейронки. Має ультимативний функціонал, регулярні оновлення, можливість підключити Stable Diffusion, спрайти персонажів, поліпшена робота з текстом і багато іншого. Без бубна ставиться на ПК за цим гайдом: https://rentry.org/sillytavern_setup. Якщо ж ти впевнений користувач андроїда і не бажаєш сидіти з ПК, то вітаю тебе в цьому гайді англійською: https://rentry.org/STAI-Termux
Гайд англійською щодо підключення Extensions (доповнень) до SillyTavern, гайд англійською, але з перекладачем цілком можна розібратися.
https://github.com/SillyTavern/SillyTavern-extras УВАГА! Якщо використовуєте не в колабі, то для запуску повного набору Extensions (Image Caption, Image Expressions) потрібно щонайменше 4 гігабайти оперативної пам'яті в режимі --cpu!
Гайд на встановлення SillyTavern з ілюстраціями англійською мовою: https://rentry.org/aicg4retards
Створення ботів для чайників.
Уже вкотився в тему, але кум-боти не цікавлять, або хочеш зробити щось своє? Цей розділ у такому разі для тебе, бот-мейкінг насправді не такий складний, але потребуватиме проб і помилок у процесі, а також прочитання деяких гайдів. Найкращий зараз гайд англійською, це цей старий, але актуальний гайд. Увага, багато англійського тексту. Якщо ж складно вникати в англійський текст, то, на жаль, бот-мейкінг не вийде, всі боти пишуться англійською мовою, крім рідкісних винятків. Найпростіше вкотитися, скачавши будь-яку вже готову карту на chub.ai і взявши її за основу.
Редагувати карти рекомендую в цьому інтерфейсі: https://zoltanai.github.io/character-editor/
Claude Promt + Summarization Prompt (14.07.2023)
Цей промт взятий звідси, цим промтом я зараз користуюсь
Main Promt
NSFW Prompt
NSFW Avoidance Prompt
Claude Jailbreak
Author's Note Prompt
Summarization Prompt
EXAMPLE MESSAGE:
Статистика в кінці повідомлення
(Допомагає не пройобувати який зараз період часу, день, температуру повітря і тд. Дуже допомогає. Не є обов'язковим, але рекомендується) Добавляти в кінці "Jailbreak". Але при його застосуванні треба збільшити кількість токенів відповіді десь до 600. І якщо розмітка повідомлення зруйнувалась, "регенерувати" або "свайпати" відповіді поки не вийде як на скріні.