Пост канала
- фото
NVIDIA меряет поставки GPU метрикой wafer-out to first token — в два этапа Пауза перед первым токеном в чате — не всегда про мощность видеокарты. NVIDIA меряет путь от выхода кремния с фабрики до работающей модели в две фазы, и вторая часто важнее первой. Сначала логистика и сборка: кремний уходит с производства, железо собирают и ставят в стойку дата-центра. Потом питание, охлажение, сеть и софт — всё, что превращает установленную машину в модель, готовую ответить. Задержка, которую ты ловишь в агенте на длинной сессии, нередко сидит во втором блоке, а не в чипе. Железо уже в стойке, а ответ всё равно идёт с задержкой — вот зачем им нужна сквозная метрика от фабрики до первого токена, а не только «сколько GPU в стойке».
Открыть в MAX- Просмотры
- 23
- ER
- —
- Реакции
- —