Пост канала
- фото
Плотный трансформер против MoE: как NVIDIA масштабирует биомодели Если сравниваешь модели для агента только по числу параметров на карточке — остановись: при одинаковой витрине счёт за токены может разъехаться в разы. Дело не в маркетинге, а в том, проходит ли каждый токен через все слои или только через выбранных экспертов. NVIDIA разбирает, как эффективно учить такие схемы для биологических базовых моделей: много подсетей внутри, на один токен — маленькое подмножество. Без этого качество не масштабируешь без линейного роста вычислений на обучении и на ответе. Тот же приём уже в больших открытых моделях со смешением экспертов. Перед выбором плотной и разреженной архитектуры в одном бюджете сравни не общий размер весов, а сколько сети реально включается на запрос.
Открыть в MAX- Просмотры
- 12
- ER
- —
- Реакции
- —