Пост канала
- фото
Озвучка без паузы: Qwen3-TTS в vLLM-Omni на SageMaker AI Если собираете голосового помощника на облачном рантайме, задержка на выходе часто бьёт сильнее, чем медленный ответ текстом. В первой части серии про vLLM-Omni на SageMaker AWS показывает, как Qwen3 отдаёт звук кусками по одному двустороннему каналу — проигрыватель может стартовать, пока модель ещё генерирует. Рядом с прошлым разбором про распознавание речи это закрывает обратную сторону: текст ответа снова уходит в живой поток, без ожидания целой фразы. Скрипт деплоя и демо-клиент на Gradio лежат в hosting-examples от SageMaker. Поднимите эндпоинт по их walkthrough и прогоните короткую фразу в браузере — так проще понять, хватит ли вам такой латентности, чем читать схему транспорта.
Открыть в MAX- Просмотры
- 15
- ER
- —
- Реакции
- —