СПИСОК АКТУАЛЬНЫХ MOE МОДЕЛЕЙ ДЛЯ АНОНА ПО ВЕРСИИ 2CH-LLM-THREЯDE
MOE
Что такое MOE? LLM состоит из слоев. В каждом слое есть две основные части:
- Attention - отвечает за то, чтобы понять, как токены связаны друг с другом в контексте.
- Feed-Forward Network (FFN) - большая полносвязная сеть (MLP), которая делает нелинейные преобразования и содержит большую часть параметров модели. Именно в FFN хранится большая часть того, что условно называют «знаниями» модели.
В обычной («dense») модели каждый токен проходит через весь FFN на каждом слое. Все параметры активны каждый раз. Проще говоря: в dense-модели каждый токен на каждом слое «включает» весь вычислительный блок целиком - используются все нейроны, все веса, все параметры без исключения. Ничего не выбирается и не отключается и любой токен проходит через один и тот же полный набор вычислений.
Так вот, умницам пришла идея, что не обязательно активировать весь FFN для каждого токена. Вместо одного большого FFN в слое можно сделать несколько меньших FFN. Они и называются экспертами. Перед ними ставится небольшой модуль - router (или gating network).
Вот он и решает для каждого токена он решает, каких экспертов нужно активировать.
Что же от этого меняется ? Это резко снижает вычисления. У MoE-модели есть два числа: общий размер модели и число активных параметров - например:
%Model_name% 355B-A32B (355B- общих, 32B - активных)
Это значит, что физически модель весит как 355B (все эксперты существуют и занимают память), но во время генерации на каждый токен считаются только ~32B параметров. Для тебя это означает: требование к вычислительной мощности (GPU, скорость инференса) - примерно как у 32B модели. Требования к памяти для хранения весов - ближе к 355B модели.
Kimi-K2 и Kimi-K2.5
(от 48GB-64GB VRAM и 512GB RAM)
Кими, большой до 1ТБ Рам и минимум 48VRAM. Жирный, толстый, неповоротливый. Самое большое что ты сможешь запустить на данный момент локально. Ризонинг прилагается
Создана для продвинутых задач (чтобы это не значило), безусловный лидер очередного бенча. Непобедимый мастодонт, кошко-жена и миска риса прилагаются
Ага, так и поверили.
Z.ai и GLM
В целом- очень любимы тредом. Так как почти все модели этого семейства достаточно умные и умеют в РП/ЕРП.
(от 24GB VRAM и 128GB RAM)
ЖЛМ 4.7 Безусловный вин и любимица треда. Споры о том какая из версий GLM (4.7, 4.6, 4.5) лучше - так и не выявили победителя, решай для себя сам. В нормальных квантах может в кодинг, может выполнять агентские задачи, РП/ЕРП годное, русский язык один из лучших. Вменяемо запускается для РП в Q2. Да, да. При этом не совсем лоботомит.
(от 8GB VRAM и 64GB RAM)
Младшая версия умненького 4.5 с ризонингом. Быстрая, умная. Любима анонами в РП/ЕРП. В своём размере, наверное, лучшее что можно запустить. Контекста завезли аж 130к.
Новая быстрая агентская малыха в 30b. Работает на кофеварке, достаточно умная для своего размера.
Qwen 3
Целая россыпь Квенов.
(от 24GB VRAM и 192GB RAM)
Квен для кодинга. Огромный. Nuff said.
(от 24GB VRAM и 128GB RAM)
Qwen3-235B-A22B
Базовый инстракт 2507
2507 с ризонингом
Теперь с распознаванием картинок
Универсальные большие Qwen. Избыточно внимательные, способны в кодинг, работу с документами, мультимодалки могут работать с изображениями. В РП источник неутихающих срачей, потому что имея ум, умение писать, слушаться промта - будет тебя ломать специфичной манерой повествования, шизой возникающей на пустом месте и дичайшим имперсонейтом (Может и будет писать за тебя). Для настоящих ценителей страданий в РП, но способна доставить при желании пердолинга.
(от 8GB VRAM и 32-64GB RAM)
Средненький MoE квенчик. Может всего понемногу. Сносно умеет в РП.
Квен поменьше для написания некомпилируемого.
Небольшой MOE квенчик. Вменяем, быстр. Контекст 256к. По отзывам анонов- контекст держит хорошо.
80B-A3B Новый квен для кодомакак. Свежий и умный™. По отзывам анонов- годнота.
А также TTS, Image и прочее. Партия насыпала как как следует
Mistral
Мистральки. Компания сделавшая виновую большую Мистраль и ряд маленьких- тюны на которые выходят до сих пор. Изредка обновляет свои модельки, не так давно разродилась новым большим мистралем, теперь в MoE архитектуре под вой с болот от ценителей™ денс моделек.
(от 24GB VRAM и 256GB RAM)
Новый большой мистраль. Теперь в MoE. Всё так-же умеет в русский язык, но кумтюнов как его старшая сестра, не имеет. Цензура присутствует.
DeepSeek
Синий кит. Расово китайская нейросеть взорвавшая в своё время инфополе. Кто то считает что флагманская модель деградирует, кто то топит за прогресс, истинна как известно: где то рядом.
(от 48GB VRAM и 256GB RAM)
DeepSeek. 3.2 В представлении не нуждается. Ризонинг на месте, вечный победитель очередных бенчей. В своём размере хорош, агент, жнец и на дуде игрец. Может и в РП, но отмечают справляется хуже чем 3.1, цензура на месте, особенно с ризонингом.
Да и в целом у DeepSeek есть и маленькие кодерские модели, по ссылке можно посмотреть
GROK-2
(от 48GB VRAM и 256GB RAM)
GROK-2. Cумрачное творение Илона Маска. 128к контекста. Есть жалобы на тяжесть контекста, и на то что начинает ломаться уже на 64к. По отзывам: любит и практикует кум.
OpenAI
ПопенАИ, одна из причин удорожания оперативной памяти, разработчики знаменитого GPT и просто славные парни.
(от 8GB VRAM и 32-64GB RAM)
Да это же ГПТ дома, хуй там. Очень умный и быстрый ассистент умеющий в кодинг. 128к контекста прилагаются. Цензура на месте
Маленькая версия ассистента. По отзывам анонов, моделька крайне тупая.
MiniMaxAI
Очередные азиатские модельки
(от 16GB VRAM и 128GB RAM)
Весьма шустрый и умный для своих размеров ассистент. Умеет в русский язык. В РП/ЕРП сух до безобразия.
Solar-Open-100B
(от 8GB VRAM и 64GB RAM)
Корейская моделька от неправильных корейцев аж100b, активных подвезли 12b.