Пост канала
- фото
TorchServe сняли с поддержки — Ray Serve DLC вместо самосборки GPU-стека Сколько раз за последний квартал вы пересобирали контейнер с моделью из‑за новой версии фреймворка или драйвера? Если serving ещё на TorchServe, это скоро станет нормой: проект без поддержки, патчи и совместимость — на вашей стороне. AWS показала Ray Serve DLC — контейнер, где стек под видеокарты, фреймворк и слой ответа уже собраны и протестированы. Безопassность закрывают при сборке образа; вместо archiver, handler и config — декоратор и одна строка bind. Для тех, кто крутит inference на EKS или SageMaker, переход может быть сменой тега, а не новым многоэтажным Docker под каждый релиз.
Открыть в MAX- Просмотры
- 9
- ER
- —
- Реакции
- —