Пост канала
- фото
ИЗНАНКА ИИ — Mixture of Experts (MoE) Недавно говорили о том, что специализация параметров внутри обычной модели — размытая, без чётких разграничений. MoE решает похожую задачу : не полагается на то, что специализация возникнет сама, а закладывает её в архитектуру заранее. Проблема, которую решает MoE Обычная большая нейросеть на каждый токен ответа прогоняет практически все свои параметры. Это как для ответа на самый простецкий вопрос созывать весь институт, от математиков до историков искусства, каждый раз. Дорого, медленно, зачем. Что придумали В части слоёв модели заранее выделяют несколько блоков — «экспертов» (это не вся сеть целиком, а конкретные участки внутри трансформера). Рядом ставят обучаемый маршрутизатор: для каждого токена он решает, какие блоки задействовать, а какие пропустить. На вопрос «сколько будет 2+2» не обязательно звать в аудиторию профессора ботаники — маршрутизатор сразу отсекает явно нерелевантных экспертов и зовёт только тех, кто нужен именно сейчас. Со временем блоки действительно приобретают склонность к определённым типам задач, но эта специализация не всегда укладывается в понятные человеку категории вроде «этот эксперт — по математике»: реальное разделение обычно куда более размытое. Почему это вообще делается Модель может быть огромной по общему числу параметров — и при этом требовать меньше вычислений на каждый токен, потому что реально считается только часть. Отсюда два числа, которые вы видите в анонсах: «всего параметров» и «активных на токен». DeepSeek V3/R1 — 671 млрд всего, но активны около 37 млрд на токен. Qwen3.8-Max, о которой мы недавно писали, — 2,4 трлн всего, но активны около 95 млрд на токен. Важно понимать что вся модель всё равно должна целиком храниться на серверах — экономятся вычисления на конкретный запрос, а не место под неё в дата-центре. Что это значит для вас как для пользователя Напрямую — немного: вы всё равно просто пишете в чат. Но MoE обычно даёт более доступную цену API (Application Programming Interface — способ, которым одна программа обращается к другой напрямую, без интерфейса с кнопками: например, ваш сервис отправляет запрос к модели и получает ответ в коде), а не в окне чата.и лучшую скорость при высокой нагрузке на сервер, если модель хорошо развёрнута на железе. Сама по себе MoE не гарантирует ни скорость, ни качество — это зависит от того, как именно её реализовали, а не только от факта использования архитектуры. Тем не менее, сегодня MoE — одна из главных архитектур для масштабирования больших языковых моделей: она позволяет наращивать общее число параметров без пропорционального роста вычислений на каждый токен.
Открыть в MAX- Просмотры
- 49
- ER
- —
- Реакции
- —