СПИСОК АКТУАЛЬНЫХ МОДЕЛЕЙ ДЛЯ АНОНА ПО ВЕРСИИ 2CH-LLM-TRED

на момент июля 2024

100+В

(от 36 до 96Гб памяти)

Command-r-plus

Считается умнейшей локальной моделью, соя минимальна, но запустить смогут не только лишь все.

GGUF
Exl2

~70B

(от 24 до 64Гб памяти)

Qwen2-72B

Достаточно умная китайская модель, превосходящая 3 Ллламу, цензура есть.

GGUF
Exl2

Известные тьюны:

Magnum-72b GGUF Exl2

Натренирована на выдаче Cloude 3 Opus.

Dolphin-2.9.2-qwen2-72b GGUF

Llama-3-70В

Последняя версия модели от рептилойдов из Меты, которая установила новый стандарт качества среди 70В моделей. Тем не менее в РП может лупиться и плохо держать персонажей.

GGUF
Exl2

Известные тьюны:

Higgs-Llama-3-70B Exl2 GGUF

Многие считают её базой. Гораздо более открыта и разнообразна в РП, чем базовая Ллама. Есть подозрение что GGUF формат поломан

L3-70B-Euryale-v2.1 GGUF Exl2

РП-тьюн лламы, на равне с Хиггсом. Есть мнение что чуть лучше него отыгрывает роль. А ещё
его GGUF вероятно не сломан

dolphin-2.9.1-llama-3-70b GGUF
Smaug-Llama-3-70B GGUF

Miqu-70В

Считается устаревшей. Но по мнению множества шизов до сих пор лучшая модель для РП. В общем Старая, но не бесполезная!

GGUF

Известные миксы:

Midnight-Miqu-70B-v1.5

Мнение анона: Пробовал разные другие модели и L3 и Commander+ и qwen2 - не впечатлился результатом. В том числе пробовал другие миксы miqu (не все), но все равно в результате вернулся к исходной модели.
Пришел к выводу что лучше всего получаются небольшие истории, с инструкцией в виде краткого описания сюжета нужной истории. На длинных полотнах где креатив отдан на откуп модели, даже с нормально прописанным изначальным лором, модель может неплохо начать, но как это обычно бывает, со временем Остапа начинает нести (без двойных трусов здесь тоже временами не обходится, лол).
Но даже с учетом всех минусов (которых на мой взгляд, у других моделей будет поболее), Midnight-Miqu-70B-v1.5 - это лучшее из того что пробовал.

GGUF
Exl2

~30B (от 12 до 36Гб памяти)

Gemma 2-27B
Свежая модель от гугла. Очень хорошо может в русский. ри сравнительно малом весе обладает сообразительностью уровня 70В моделей.
а местами даже даёт им пососать
НО достаточно соевая, благодаря своему интеллекту может пропихивать сою незаметно, постепенно руиня РП. На данный момент доступна только GGUF версия с поломанным контекстом (при заполнении 8к, забывает начало). Рекомендуется запускать с 4к контекстом и ждать фиксов (или Exl2 версии)

GGUF

Command-r-35B
До выхода Геммы считался умнейшей моделью в диапазоне 30В. Очень хорошо выполняет инструкции, почти не имеет цензуры, но значительно глупее 70В моделей. Русский язык такой себе. Как не в себя жрёт память для контекста(в 1,5-2 раза больше других моделей)

GGUF
Exl2

aya-23-35B
Модель имеющая формат Командера и очень на него похожая, основные отличия: Глупее Командера, русский НАМНОГО лучше, цензуры нет совсем(что делает её почти идеальной средней кум-моделью)

GGUF

yi-1.5-34B
Ещё одна умная китайская модель. Умна. Цензура на месте. В русский не может.

GGUF

Известные тьюны:
dolphin-yi-1.5-34b

GGUF

20B (от 12 до 24Гб памяти)

Раздел в основном состоит из миксов за авторством Undi95. Морально устарели, но многим анонам всё ещё нравятся. В своё время были топовыми кум-моделями для нищебродов, "Мику" средних моделей.

Psymedrp-v1-20b.Q5_K_M

GGUF
Exl2

Mlewd-remm-l2-chat-20b-inverted

GGUF
Exl2

Emerhyst-20B

GGUF
Exl2

U-Amethyst-20B

GGUF
Exl2

~7B (от 8 до 16Гб памяти)

Gemma 2-9B

GGUF

Qwen2-7B-Instruct

GGUF
Exl2

Известные тьюны:
dolphin-2.9.2-qwen2-7b

GGUF
Exl2

Qwen2-7B-Instruct-abliterated
Расцензуренная версия, лучше, чем оригинал

GGUF
Exl2

Yi-9B

GGUF
Exl2

Известные тьюны:
dolphin-2.9.1-yi-1.5-9b

GGUF

Aya-23-8B
Похожа на свою старшую версию. Русский язык хорош.

GGUF
Exl2

Llama-3-8В
Своим выходом перевернула представление о возможностях небольших моделей. Русский неплох. НО всё же страдает невнимательностью и игнорированием инструкций. До уровня 30В можелей всё-же не дотягивает.

GGUF

Известные тьюны:
До жопы, см. тут: Репа Мрадермансера
Но упоминали только:
dolphin-2.9.1-llama-3-8b

Exl2

В треде также советовали:
Nyanade_Stunna-Maid-7B

GGUF

Average_Normie_v3.69_8B

GGUF

L3-8B-Stheno-v3.2

GGUF

~3B (от 2 до 8Гб памяти)

Phi-3-mini
Модель от Майкрософта, показывающая удивительную для своего размера сообразительность.

GGUF
Exl2

Известные тьюны:
Phi-3-mini-128k-instruct-abliterated
Расцензуренная версия, лучше, чем оригинал

GGUF

Phi-3-mini-4k-geminified

Qwen2-1.5B
Оно работает и пишет связный текст? - Оно работает и пишет связный текст!!!

GGUF
GGUF
Exl2

Известные тьюны:
Qwen2-1.5B-Instruct-Abliterated
Расцензуренная версия, лучше, чем оригинал

GGUF
Exl2

Полезные ссылки

Репа создателя Tess файнтьюнов

Репа создателя Dolphin файнтьюнов

Репа шизомиксера, где можно найти множество годных и не очень 7-8В файнтьюнов

Человек-легенда, подаривший анону кучу шизомиксов и ушедший потрогать траву, но теперь он похоже вернулся!!!

Репа топового GGUF-квантера

Репа топового Exl2-квантера

Edit Report
Pub: 04 Jul 2024 15:57 UTC
Edit: 04 Jul 2024 16:00 UTC
Views: 49