Пост канала
- фото
Confidential Computing на inference: TensorRT LLM держит 96%+ throughput Включили шифрование в облаке для инференса — и скорость режут на треть: так часто рисуют аренду видеокарт. NVIDIA прогнала DeepSeek-R1 в TensorRT LLM на восьми B200: при конфиденциальных вычислениях остаётся около 96% пропускной способности, задержка на токен — плюс единицы процентов. Ломается не чип, а рантайм в защищённой виртуалке: копирование с хоста на видеокарту идёт через буфер, автоподбор тактик может выбрать медленный путь. В разборе — правки под такой режим и схема честного сравнения: длинный контекст, мало параллельных запросов. Если гоняете чувствительные промпты в чужом кластере, сравните пропускную способность и задержку на том же стенде до включения шифрования.
Открыть в MAX- Просмотры
- 11
- ER
- —
- Реакции
- —