Пост канала
- фото
На GPU-кластере round-robin дороже модели: AWS дала умный шлюз для inference Четыре с лишним секунды до первого токена в чате — часто не слабая модель, а очередь на одной реплике, пока соседняя простаивает. Обычный балансировщик не видит, переполнена ли память под кэшем контекста и стоит ли в очереди длинный запрос. Amazon выпустила шлюз HyperPod Inference Gateway для Kubernetes на HyperPod: метрики с каждого пода, запрос уходит туда, где есть запас. Снаружи тот же чат без смены клиента и сервера вывода. Если гоняете модели на Kubernetes, замерьте задержку до первого токена при балансировке по кругу и сравните с маршрутизацией по загрузке пода. Без HyperPod смысл тот же: узкое место часто не веса, а шлюз, который не смотрит внутрь пода.
Открыть в MAX- Просмотры
- 33
- ER
- —
- Реакции
- —