Пост канала
- фото
Dense или MoE: почему 30B-модель считает только 3B параметров на токен 3B из 30B на токен — у Nemotron 3.5 Lightning это не опечатка в карточке, а суть смеси экспертов. Маршрутизатор на каждый шаг будит только часть блоков; остальные веса ждут своего фрагмента текста, но место на диске и в памяти уже заняли. NVIDIA разобрала, чем активные параметры отличаются от номинала на обложке и почему по ним честнее сравнивать пропускную способность с плотными моделями. Плотная модель проще оценить: все параметры работают на каждый токен. Если выбираете чекпоинт для локального агента, откройте карточку и найдите строку про active parameters — по ней видно, сколько реально крутит карта, а не что написано крупным шрифтом.
Открыть в MAX- Просмотры
- 26
- ER
- —
- Реакции
- —