Пост канала
Воскресный подгон по System Design, я не знаю, как подогреть вас круче. Представьте, вы проходите собес в OpenAI и на секции System Design вам дают задачу - спроектировать ChatGPT, но не с точки зрения обучения модели, а с точки зрения инфраструктуры необходимой для GPU-инференса и поддержки 200 млн пользователей ежедневно и 20 тыс запросов на генерацию в секунду. В статье разберем, как: • отдавать первый токен за 500 мс через SSE и не держать лишние соединения • эффективно загружать GPU-воркеры с помощью очереди и непрерывной пакетной обработки (continuous batching) • как проектировать квоты и приоритетные очереди для разных тарифов • контролировать расходы на инференс в длинных диалогах с помощью KV-кэширования и скользящего окна
Открыть в MAX- Просмотры
- 15
- ER
- 13,3%
- Реакции
- 2