Пост канала
- фото
Nvidia представила Groq 3 LPU — чип для ускорения инференса ИИ Что за ускоритель вошёл в платформу Rubin и зачем ему 500 Мбайт SRAM. Разбираем ниже. Nvidia расширила платформу Vera Rubin новым чипом Groq 3 LPU, построенным на интеллектуальной собственности, приобретённой у Groq. Компания определяет его как ускоритель инференса: задача — выдавать токены в большом объёме и с низкой задержкой. Платформа Rubin уже включала шесть компонентов: GPU Rubin, CPU Vera, коммутаторы NVLink 6, сетевой адаптер ConnectX-9, процессор обработки данных BlueField-4 и коммутатор Spectrum-X с интегрированной оптикой. Groq 3 LPU стал ещё одним строительным блоком. Главное отличие — схема памяти. Обычно ИИ-ускорители используют HBM, а каждый Groq 3 LPU несёт 500 Мбайт SRAM. Для сравнения: у GPU Rubin — 288 Гбайт HBM4. По ёмкости разница огромная, но по пропускной способности картина обратная: SRAM выдаёт до 150 Тбайт/с против примерно 22 Тбайт/с у HBM4. Для задач, чувствительных к пропускной способности, это преимущество при инференсе. Стойка Groq 3 LPX объединяет 256 чипов: 128 Гбайт SRAM и суммарная пропускная способность до 40 Пбайт/с. Внутри стойки чипы связывает выделенный интерфейс на 640 Тбайт/с. Вице-президент Nvidia по гипермасштабируемым решениям Иэн Бак назвал Groq LPX сопроцессором для Rubin. По его словам, он повысит производительность декодирования «на каждом слое ИИ-модели на каждом токене». Само решение Nvidia связывает со следующим рубежом ИИ — мультиагентными системами, где нужна интерактивная работа множества моделей.
Открыть в MAX- Просмотры
- 44
- ER
- —
- Реакции
- —