Пост канала
- фото
TensorRT 11 тянет одну сеть на несколько GPU — проще serving в Dynamo-Triton Одна TensorRT-сборка на весь пул видеокарт — без ручного дробления сети и зоопарка скриптов между картами. Если вы сами кормите клиентов выводом большой генеративной модели, это как раз тот слой между железом и кодом приложения. В TensorRT 11 NVIDIA связала несколько карт в одну оптимизированную сеть: она выполняется целиком, обмен между устройствами встроен в движок, штатные оптимизации при выводе не отключаются. В Dynamo-Triton та же схема встраивается в раздачу модели наружу — меньше самодельной оркестрации. Сравните свой деплой: сколько обходных пайплайнов у вас только потому, что модель не влезала на одну карту?
Открыть в MAX- Просмотры
- 7
- ER
- —
- Реакции
- —