СПИСОК АКТУАЛЬНЫХ МОДЕЛЕЙ ДЛЯ АНОНА ПО ВЕРСИИ 2CH-LLM-TRED
на момент декабря 2024
100+В
(от 36 до 320Гб памяти)
Meta-Llama-3.1-405B
Свершилось! Вышла новая версия Лламы 3. На этот раз выкатили базовую - самую крупную модель, меньшие версии являются её обрезками. По заверениям создателей модель уровня GPT-4 и Cloude 3 Sonnet что конечно же не правда Первые тесты анонов не однозначные, сои налили по самое не хочу, но вроде как обходится. Контекст 128к из коробки. На данный момент самая крупная из доступных локальных ЛЛМ.
Mistral-Large-123B
Обновление легендарных Мистралей
Мнение анона: В РП прям на голову выше ламы 70В и её рп-тюнов, и это первая модель, где к русскому претензий вообще нет, можно спокойно рпшить и не кринжовать от странных выражений. Вот и дожили, когда локалка ебёт клауду и гопоту. Скорость хотелось бы чуть повыше, но с 10-12 т/с в целом можно жить, особенно учитывая что свайпать не приходится. Забавно как ламу 3.1 на следующий же день похоронили таким подгоном, я вчера весь вечер проебался с ней и так смог сделать удовлетворительный вариант для рп, а мистраль сходу норм работает.
Мнение другого анона: Такого же восторга нет, модель вроде и умная, и язык знает, но концентрация бондов и ванильной прозы запредельная, но при этом подробности ответам часто нехватает, бывает теряет инициативу и тупит, от 120б ждешь большего. Справедливости ради, не делает фейлов с двойными трусами и хорошо воспринимает сложные словесные конструкции, отсылки, не теряется в действиях. Знания фендомов очень поверхностные, креативности часто недостает.
Известные тьюны:
Magnum-v4-123b
Обновление Магнума до 4 версии!
Magnum-v2-123b
Мнение анона: Как же Магнум 123В ебёт. Лупы победили, ещё и рпшит просто на голову лучше остальных. Ахуенно в контексте держится, например тянки не разговаривают с забитым ртом, как это делают остальные. Прям чувствуется как он понимает что вокруг происходит. Ещё забавно как персонажи начинают на лету схватывать к чему ты ведёшь и морозиться с подкатов, в отличии от остальных, где тянка максимально послушная и как будто не понимает что будет дальше.
Lumimaid-v0.2-123B
Мнение анона: Lumimaid 123, приличная модель для рп. Развязывает язык мистралю, добавляет более приятный стиль, убирает сою. Возможен импакт на умственные способности, но в рп это не проявляется. Типичного рп слоупа на приближенную тему как в большинстве васяновских файнтюнов нет, учитывает особенности чара и не проебывается. Знания фэндомо и культуры в гораздо лучше, кумит шикарно, ограничений не замечено. Русский на хорошем уровне, но на английском будет писать интереснее. Вот та самая клод дома.
Мнение другого анона: Как по мне - не дотягивает, суховата.
Command-r-plus-08-2024-105B
Обновление того самого Командера! Решена проблема с жирным контекстом. Цензура на минимуме
Command-r-plus-105B
Долгое время считался умнейшей локальной моделью, соя минимальна, но запустить смогут не только лишь все.
Мнение анона: Это просто Командир 35В на максималках и без жирного контекста.
~70В
(от 24 до 64Гб памяти)
Llama-3.3-70В
Новое обновление 3 Лламы, пока только 70В. Авторы утверждают что выдача на уровне 405В 3.1. версии, но в треде пишут что неистово сосёт у Qwen2.5 -72B Контекст также 128к
Llama-3.1-70В
Обновление 3 Лламы. Считается обрезком 405В версии. В бенчмарках разработчиков обходит GPT 3.5 Turbo по всем параметрам нашли, блядь, чем хвастаться Контекст 128к из коробки.
Мнение анона: Потестил 3.1 70В в exl2 немного, заметно лучше тройки. Русский не сказать что сильно шагнул вперёд, всё ещё бывает странные выражения выскакивают, но вот рп на английском явно адекватнее стало. Формат промпта ещё жестче теперь, если на тройке ещё работали альпаковские инструкции с ###, то тут уже надо переходить на хедеры. И на кривой семплинг ещё более чувствительной стала, только на HF-обёртке работает как надо. Цензура как в тройке, на ниггера не триггерится. Ждём рп-тюнов от нормальных челов, должно быть вообще заебись.
Известные тьюны:
Lumimaid-v0.2-70B
Ещё одно обновление тьюна Lumimaid, конкретно этот на основе новой Лламы, обещают что на этот наборы данных более качественные, верим!
Qwen2-72B
Достаточно умная китайская модель, превосходящая 3 Ллламу, цензура есть.
Мнение анона: хуже ламы по всем параметрам, он поэтому и не взлетел. У него ещё аттеншен особенный, из-за чего он заметно медленнее ламы. Превосходит ламу только в тестах, у китайцев очень часто такое, они наверняка по-тихому капают разбавленные тесты в датасет. Ещё и соя дикая.
Известные тьюны:
Magnum-v4-72b
Обновление Магнума до 4 версии!
Magnum-v1-72b
Одна из лучших кум-моделей! Натренирована на выдаче Cloude 3 Opus.
Dolphin-2.9.2-qwen2-72b
Llama-3-70В
Предпоследняя версия модели от рептилойдов из Меты, которая установила новый стандарт качества среди 70В моделей. Тем не менее в РП может лупиться и плохо держать персонажей.
Известные тьюны:
Higgs-Llama-3-70B
Многие считают её базой. Гораздо более открыта и разнообразна в РП, чем базовая Ллама. Есть подозрение что GGUF формат поломан
L3-70B-Euryale-v2.1
РП-тьюн лламы, на равне с Хиггсом. Есть мнение что чуть лучше него отыгрывает роль. А ещё
его GGUF вероятно не сломан
Мнение анона: Это буквально самый всратый рп-файнтюн ламы и он очень плохой.
В общем отзывы смешаные, кому-то заходит, кому-то нет, попробуй и реши на чьей стороне ты!
dolphin-2.9.1-llama-3-70b
Smaug-Llama-3-70B
Miqu-70В
Считается устаревшей. Но по мнению множества шизов до сих пор лучшая модель для РП. В общем Старая, но не бесполезная!
Известные миксы:
Midnight-Miqu-70B-v1.5
Мнение анона: Пробовал разные другие модели и L3 и Commander+ и qwen2 - не впечатлился результатом. В том числе пробовал другие миксы miqu (не все), но все равно в результате вернулся к исходной модели.
Пришел к выводу что лучше всего получаются небольшие истории, с инструкцией в виде краткого описания сюжета нужной истории. На длинных полотнах где креатив отдан на откуп модели, даже с нормально прописанным изначальным лором, модель может неплохо начать, но как это обычно бывает, со временем Остапа начинает нести (без двойных трусов здесь тоже временами не обходится, лол).
Но даже с учетом всех минусов (которых на мой взгляд, у других моделей будет поболее), Midnight-Miqu-70B-v1.5 - это лучшее из того что пробовал.
~30B
(от 12 до 36Гб памяти)
Mistral-Small-Instruct-2409 - 22B
Новый Мистраль среднего размера.
Мнение анона: Сейчас Мистраль 22В топ для мелких.
Известные тьюны:
ChatWaifu_v2.0_22B
Любопытный проект, заточенный под РП и имеющий даже собственный движок
Magnum-v4-22b
Обновление Магнума до 4 версии!
Mistral-Small-NovusKyver
Больше заточена под РП и NSFW-контент.
Cydonia-22B-v1
Новый РП тьюн от Драмера, автор описал его как 'Miqu 2 Mini'. Минимум один анон считает её годнотой.
Gemma 2-27B
Свежая модель от гугла. Очень хорошо может в русский. При сравнительно малом весе обладает сообразительностью уровня 70В моделей.
а местами даже даёт им пососать
НО достаточно соевая, может хитро пропихивать сою незаметно, постепенно руиня РП. На данный момент доступна только GGUF версия с поломанным контекстом (при заполнении 8к, забывает начало). Рекомендуется запускать с 4к контекстом и ждать фиксов (или Exl2 версии)
Известные тьюны:
Magnum-v4-27b
Обновление Магнума до 4 версии!
Magnum-v3-27b-kto
Магнум на основе Геммы это реально? Да, это реально!
Gemma-2-27b-it-abliterated
Расцензуренная версия геммы, есть мнение что она адекватнее чем магнум и тем более поломанный биг тайгер.
Big-Tiger-Gemma-27B
Мнение анона: расцензуренная версия, немного потестил, рамок действительно нет , говорит адекватно, пока что офигенный вариант, пробуйте
Command-r-08-2024-35B
Навый Командер 35В, который теперь занимает заметно меньше памяти за счёт решения проблемы с контекстом!
Мнение анона: отличная модель, спокойно можно использовать без аблитерации в отличии от Геммы. В рп тестил всякую дичь, гуро там, ЦП, пытки и прочее в таком духе - легко. Ну а с обычным кумом так вообще проблем нет.
А вот лучше или хуже старого - хз, старым не пользовался. По ощущениям немного умнее Квена и немного тупее Геммы. Но у всех тут разные юзкейсы, поэтому лучше проверять-сравнивать самому.
Command-r-35B
До выхода Геммы считался умнейшей моделью в диапазоне 30В. Очень хорошо выполняет инструкции, почти не имеет цензуры, но значительно глупее 70В моделей. Русский язык такой себе. Как не в себя жрёт память для контекста(в 1,5-2 раза больше других моделей)
Мнение анона: Отлично подходит для рп/ерп в некоторых жанрах, воспринимает нюансы взаимоотношений и настроений часто лучше чем большие "умные" модели, не деградирует а наоборот разгоняется на большом контексте. Из киллерфич - возможность выбора любого темпа повествования (лежать в кровати 20 постов, а потом наоборот быстро перемотать несколько дней - без проблем, не поломается или не начнет куда-либо убегать и скатываться как другие модели), отличное восприятие стилей речи чара (пытается имитировать описанный простыми словами сленг/акцент очень точно) и поведения карточки в целом, одни из лучших познаний в прелюдии и ебле без доставших жптизмов и паттернов.
Aya-23-35B
Модель от разработчиков Командера, имеющая тот же формат, очень на него похожа, основные отличия: Немного глупее Командера, русский НАМНОГО лучше, цензуры нет совсем(что делает её почти идеальной средней кум-моделью)
Qwen2.5-32B
Версия 32B одной из базовых китайских моделей, недавно получившая обновление, контекст 128к, неплоха в кодинге.
Мнение анона: Очень сухо и пресно пишет, особенно когда доходит до половой ебли. Всяких полунамеков куда нужно сюжет двигать - не понимает, надо прям в лоб писать. Но я исключительно про РП говорю, может в других задачах он и превосходит Гемму с Коммандером.
Известные тьюны:
Qwen2.5-32B-Instruct-abliterated-v2
Расцензуренная версия
yi-1.5-34B
Ещё одна умная китайская модель. Умна. Цензура на месте. В русский не может.
Мнение анона: В рп ещё норм, но очень тупая в логике, в русский может терпимо, не сказать что он совсем неюзабельный. Это первая версия тотально проёбывала русский, в 1.5 уже не так плохо. Имеет смысл брать только чат-версию, а не базовую. Какие-то проблемы с контекстом и отыгрышем есть.
Известные тьюны:
Magnum v3 34b
Магнум среднего размера. Учитывая качество остальных магнумов, кандидат на лидеры среди средних кум-моделей, пробуем!
dolphin-yi-1.5-34b
20B
(от 12 до 24Гб памяти)
Раздел состоит из миксов за авторством Undi95. Морально устарели, но многим анонам всё ещё нравятся. В своё время были топовыми кум-моделями для нищебродов, "Мику" средних моделей.
Mlewd-remm-l2-chat-20b-inverted
7+B
(от 8 до 16Гб памяти)
Command-r-12-2024-7B
Кафиры выкатили новый командор в народном размере на 8 миллиардов параметров. По классике заточен под раги и работу с датой, и скорее всего это дистиллят со старших версий.
Mistral-Nemo-Instruct-2407-12B
Новый Мистраль, готовый соперничать по сообразительности с Геммой 27В Одна из самых быстрых по производительности моделей. Контекст 128к из коробки. Русский язык хорош, инструкции выполняет чётко. Из минусов: лупится, много скрытой сои. Ждём файнтьюнов и пресетов, которые это исправят.
Известные тьюны:
ChatWaifu_12B_v2.0
Любопытный проект, заточенный под РП и имеющий даже собственный движок
Мнение анона: до это сидел дольше всего на мистале немо, но позже лучше всего зашёл файнтюн этой же немо - чатвайфу. Щас у меня для кума оно, а для работки гема. Всё остальное шлачина, особенно калом оказался ружпт от сбера мегадрисня
Magnum-v4-12b
Обновление Магнума до 4 версии!
Мнение анона: Типичный магнум, пишет дохуя, быстро лезет в трусы.
mini-magnum-12b-v1.1
Мини-версия Магнума 72В, также натренированная на датасетах от Claude Sonnet и Opus
Lumimaid-v0.2-12B
Ещё одно обновление тьюна Lumimaid, конкретно этот на основе нового Мистраля, обещают что на этот наборы данных более качественные, верим!
dolphin-2.9.3-mistral-nemo-12b
Lumimaid-Magnum-12B
Слияние Lumimaid и Magnum, просто потому что!
Llama-3.1-8В
Обновление 3 Лламы. Считается обрезком 405В версии. В бенчмарках разработчиков обходит Гемму 9В, Мистраль 7В и ту же Трубу 3.5. По первым тестам очень сухая и много сои, но аноны говорят что её легко обойти. Контекст 128к из коробки.
Известные тьюны:
L3-DARKEST-PLANET-16.5B
Свежий тьюн на основе L3-8B-Stheno-v3.2, Llama-3-Lumimaid-8B-v0.1-OAS и Jamet-8B-L3-MK.V-Blackroot, использует шаблон Llama-3, создан с использованием техники БРЕЙНШТОРМА и расширена до 16.5B параметров. Аффтор утверждает что у данной модели разные свайпы и избавлена от гптзимов
Мнение анона: Вообще пиздато пишет в том плане, что гптзмиов и правда удивительно мало, видимо автор принципиально не хотел тренировать на клодослопе или гптслопе как тот же магнум. По мозгам ровно на 16.5B модель, но я нищук на Q5 сижу
Lumimaid-v0.2-8B
Ещё одно обновление тьюна Lumimaid, конкретно этот на основе новой Лламы, обещают что на этот наборы данных более качественные, верим!
Lumimaid-v0.2-8B
Ещё одно обновление тьюна Lumimaid, конкретно этот на основе новой Лламы, обещают что на этот наборы данных более качественные, верим!
Gemma 2-9B
Известные тьюны:
Magnum-v4-9b
Обновление Магнума до 4 версии!
magnum-v3-9b-customgemma2
Новый компактный магнум. Праздник на улице нищуков!
Tiger-Gemma-9B-v1
расцензуренная версия
gemma2-9B-sunfall-v0.5.2
Qwen2-7B-Instruct
Известные тьюны:
dolphin-2.9.2-qwen2-7b
Qwen2-7B-Instruct-abliterated
Расцензуренная версия, лучше, чем оригинал
Yi-9B
Известные тьюны:
dolphin-2.9.1-yi-1.5-9b
Aya-23-8B
Похожа на свою старшую версиюс поправкой на размер. Русский язык хорош.
Llama-3-8В
Своим выходом перевернула представление о возможностях небольших моделей. Русский неплох. НО всё же страдает невнимательностью и игнорированием инструкций. До уровня 30В можелей всё-же не дотягивает.
Известные тьюны:
До жопы, см. тут: Репа Мрадермансера
Но упоминали только:
dolphin-2.9.1-llama-3-8b
В треде также советовали:
Nyanade_Stunna-Maid-7B
Average_Normie_v3.69_8B
L3-8B-Stheno-v3.2
Мнение анона: Пользуюсь L3-8B-Stheno-v3.2 уже 2-3 недели. Бывает тупит, но поему опыту лучше старых <20б моделей. Логика тоже лучше других L3-8b рп моделей лучше чем average normie и 3some.
Настройки: Все стандартное Context Template: lama3 instruct, Sampler: MinP
L3-Uncen-Merger-Omelette-RP-v0.2-8B
Мнение анона: Если вдруг у кого-то есть острая нехватка инцестошизомиксов маленькой тройки в организме, то рекомендую. Практически ультимативный мерж, лол. На самом деле, не так плох. Мне понравился больше, чем другие тьюны 8б, которые тыкал, хотя сложно сказать, чем именно. Может, просто свайпы удачные были. Показалось, что лучше развивает сцену, а не просто выдаёт реплику и ждёт, и с логикой всё оково. Из минусов - просран еос токен (впрочем, это и может быть причиной указанного выше плюса), так что норовит перейти в нарратора/ассистента в конце ответа. Не исключена внезапная шиза и прочие нюансы, но это же ДУША.
<4B
(от 2 до 8Гб памяти)
Llama-3.1-Minitron-4B
Обрезанная и дотрененная Ллама 3.1 8В.
Известные тьюны:
Magnum-v2-4b
На этот раз точно самый компактный магнум из существующих на данный момент!
Phi-3-mini
Модель от Майкрософта, показывающая удивительную для своего размера сообразительность.
Известные тьюны:
Phi-3-mini-128k-instruct-abliterated
Расцензуренная версия, лучше, чем оригинал
Gemma-2B
Самая младшая версия Геммы, для запуска на чайниках
Мнение анона: На самом деле 2b гемма очень неплоха, не надо сравнивать её с другими огрызками типа phi и прочих. Выше написали правильно что она вполне тягается с 8b моделями и выше. Для ее размера - это просто имба какая-то. Сравнивал с лламой 3 и 3.1. Сценарий использования - рп на самописных карточках в коболде. Ну вот русский язык - лучше, шизы - меньше. Всяких приколов типа лупов и прочего говна - нет вообще. Сои по сравнению с 3.1 гораздо меньше. Качество/вариативность ответов: какой-то прям глобальной разницы не ощутил, после 27b шо то шо то выглядит упрощенно.
Известные тьюны:
Vikhr-Gemma-2B-instruct
Версия, дообученная на русскоязычном датасете
Qwen2-1.5B
Оно работает и пишет связный текст? - Оно работает и пишет связный текст!!!
Известные тьюны:
Qwen2-1.5B-Instruct-Abliterated
Расцензуренная версия, лучше, чем оригинал
Полезные ссылки
Репа Тредовичка с миксами заточенными под русский РП
Калькулятор памяти для ЛЛМ позволяет рассчитать память более подробно, во вкладку "Model" вводим "Репу/Название модели", можно просто копировать ссылки отсюда и обрезать начало
Репа создателя Tess файнтьюнов
Репа создателя Dolphin файнтьюнов
Репа шизомиксера, где можно найти множество годных и не очень 7-8В файнтьюнов
Почта автора этого списка. Пишите, если есть что предложить!