Пост канала
- фото
Olmo-core 3: открытый стек обучения MoE, который тянет триллион параметров С 1 октября у открытой линейки Olmo не только веса: Allen AI выкатила Olmo-core 3 — инфраструктуру обучения MoE с заявленным потолком в триллион параметров, код и техотчёт в открытом доступе. Если гоняете смесь экспертов на своём кластере, там другая геометрия параллелизма: эксперты сидят на GPU, к ним едут батчи, без постоянного перетаскивания весов на каждый микробатч. На восьми B300 в их прогоне пропускная способность выросла примерно в 2,7 раза по сравнению с прежней реализацией. На Hugging Face лежит репозиторий и интерактив про параллелизм — сравните со своим пайплайном, прежде чем снова тащить дефолтный Megatron.
Открыть в MAX- Просмотры
- 13
- ER
- —
- Реакции
- —