СПИСОК АКТУАЛЬНЫХ МОДЕЛЕЙ ДЛЯ АНОНА ПО ВЕРСИИ 2CH-LLM-TRED
на момент июля 2024
100+В
(от 36 до 96Гб памяти)
Command-r-plus
Считается умнейшей локальной моделью, соя минимальна, но запустить смогут не только лишь все.
~70B
(от 24 до 64Гб памяти)
Qwen2-72B
Достаточно умная китайская модель, превосходящая 3 Ллламу, цензура есть.
Известные тьюны:
Magnum-72b GGUF Exl2
Натренирована на выдаче Cloude 3 Opus.
Dolphin-2.9.2-qwen2-72b GGUF
Llama-3-70В
Последняя версия модели от рептилойдов из Меты, которая установила новый стандарт качества среди 70В моделей. Тем не менее в РП может лупиться и плохо держать персонажей.
Известные тьюны:
Higgs-Llama-3-70B Exl2 GGUF
Многие считают её базой. Гораздо более открыта и разнообразна в РП, чем базовая Ллама. Есть подозрение что GGUF формат поломан
L3-70B-Euryale-v2.1 GGUF Exl2
РП-тьюн лламы, на равне с Хиггсом. Есть мнение что чуть лучше него отыгрывает роль. А ещё
его GGUF вероятно не сломан
dolphin-2.9.1-llama-3-70b GGUF
Smaug-Llama-3-70B GGUF
Miqu-70В
Считается устаревшей. Но по мнению множества шизов до сих пор лучшая модель для РП. В общем Старая, но не бесполезная!
Известные миксы:
Midnight-Miqu-70B-v1.5
Мнение анона: Пробовал разные другие модели и L3 и Commander+ и qwen2 - не впечатлился результатом. В том числе пробовал другие миксы miqu (не все), но все равно в результате вернулся к исходной модели.
Пришел к выводу что лучше всего получаются небольшие истории, с инструкцией в виде краткого описания сюжета нужной истории. На длинных полотнах где креатив отдан на откуп модели, даже с нормально прописанным изначальным лором, модель может неплохо начать, но как это обычно бывает, со временем Остапа начинает нести (без двойных трусов здесь тоже временами не обходится, лол).
Но даже с учетом всех минусов (которых на мой взгляд, у других моделей будет поболее), Midnight-Miqu-70B-v1.5 - это лучшее из того что пробовал.
~30B (от 12 до 36Гб памяти)
Gemma 2-27B
Свежая модель от гугла. Очень хорошо может в русский. ри сравнительно малом весе обладает сообразительностью уровня 70В моделей.
а местами даже даёт им пососать
НО достаточно соевая, благодаря своему интеллекту может пропихивать сою незаметно, постепенно руиня РП. На данный момент доступна только GGUF версия с поломанным контекстом (при заполнении 8к, забывает начало). Рекомендуется запускать с 4к контекстом и ждать фиксов (или Exl2 версии)
Command-r-35B
До выхода Геммы считался умнейшей моделью в диапазоне 30В. Очень хорошо выполняет инструкции, почти не имеет цензуры, но значительно глупее 70В моделей. Русский язык такой себе. Как не в себя жрёт память для контекста(в 1,5-2 раза больше других моделей)
aya-23-35B
Модель имеющая формат Командера и очень на него похожая, основные отличия: Глупее Командера, русский НАМНОГО лучше, цензуры нет совсем(что делает её почти идеальной средней кум-моделью)
yi-1.5-34B
Ещё одна умная китайская модель. Умна. Цензура на месте. В русский не может.
Известные тьюны:
dolphin-yi-1.5-34b
20B (от 12 до 24Гб памяти)
Раздел в основном состоит из миксов за авторством Undi95. Морально устарели, но многим анонам всё ещё нравятся. В своё время были топовыми кум-моделями для нищебродов, "Мику" средних моделей.
Mlewd-remm-l2-chat-20b-inverted
~7B (от 8 до 16Гб памяти)
Известные тьюны:
dolphin-2.9.2-qwen2-7b
Qwen2-7B-Instruct-abliterated
Расцензуренная версия, лучше, чем оригинал
Известные тьюны:
dolphin-2.9.1-yi-1.5-9b
Aya-23-8B
Похожа на свою старшую версию. Русский язык хорош.
Llama-3-8В
Своим выходом перевернула представление о возможностях небольших моделей. Русский неплох. НО всё же страдает невнимательностью и игнорированием инструкций. До уровня 30В можелей всё-же не дотягивает.
Известные тьюны:
До жопы, см. тут: Репа Мрадермансера
Но упоминали только:
dolphin-2.9.1-llama-3-8b
В треде также советовали:
Nyanade_Stunna-Maid-7B
Average_Normie_v3.69_8B
L3-8B-Stheno-v3.2
~3B (от 2 до 8Гб памяти)
Phi-3-mini
Модель от Майкрософта, показывающая удивительную для своего размера сообразительность.
Известные тьюны:
Phi-3-mini-128k-instruct-abliterated
Расцензуренная версия, лучше, чем оригинал
Qwen2-1.5B
Оно работает и пишет связный текст? - Оно работает и пишет связный текст!!!
Известные тьюны:
Qwen2-1.5B-Instruct-Abliterated
Расцензуренная версия, лучше, чем оригинал
Полезные ссылки
Репа создателя Tess файнтьюнов
Репа создателя Dolphin файнтьюнов
Репа шизомиксера, где можно найти множество годных и не очень 7-8В файнтьюнов