Пост канала
- фото
Как масштабировать корпоративные ИИ-сервисы, не закупая больше GPU? Вынести кэш из видеопамяти! «Тантор Лабс» представила Tantor Context Memory Storage — программно-аппаратное решение для хранения KV-cache, который языковые модели используют при генерации ответов. Кэш переносится из ограниченной видеопамяти во внешнее NVMe-хранилище и используется повторно. Скорость доступа сопоставима с DRAM, а стоимость за терабайт ниже. 🔸 В испытаниях на одинаковых серверах, моделях и нагрузке — в 4 раза больше клиентов на тех же GPU; 🔸 Общая контекстная память для GPU-серверов без отдельной оркестрации кэша. Решение интегрируется с vLLM, LMCache и NVIDIA Dynamo, а его эксплуатация поддерживается в платформе «Боцман». Подробнее — в материале на Хабре |Мы в TG| Группа в VK| Наш сайт|
Открыть в MAX- Просмотры
- 551
- ER
- 1,3%
- Реакции
- 7