Пост канала
- фото
MoE — почему DeepSeek и Qwen тянут дешевле плотных моделей Почему DeepSeek и Qwen часто всплывают в подборках под кодинг, хотя обучение у них явно не «на всю катушку»? Секрет в смеси экспертов: параметров в модели много, но на каждый запрос включается только нужный кусок — не весь плотный слой целиком. Условное вычисление вместо одного общего блока на все токены. Отсюда такие модели догоняют плотные аналоги по качеству, а вычислительный бюджет на тренировку уходит заметно меньше. Mixtral — из той же линейки. Если сейчас подбираешь модель под агента в Cursor или локальный рантайм, за этими именами одна архитектурная ставка — и её полезно понимать до выбора.
Открыть в MAX- Просмотры
- 26
- ER
- —
- Реакции
- —