Пост канала
- фото
Когда резать мультимодальный инференс на три этапа окупается до 5× Если в продукте агент на каждом шаге шлёт скриншот в модель — сначала проверь, где реально затык. Чаще всего это не пошаговая генерация, а кодирование картинки ещё до набора контекста. NVIDIA в разборе показала, когда мультимодальный инференс окупается, если разнести кодирование, префилл и декодирование по отдельным блокам на Dynamo. На промптах с пачкой изображений и короткими ответами заявляют до 5×; на длинном тексте без картинок выигрыш почти исчезает. Для OCR, визуальных проверок и коротких ответов по экрану — как раз тот профиль. Если в продукте в основном длинные рассуждения без картинок — резать архитектуру смысла мало.
Открыть в MAX- Просмотры
- 10
- ER
- —
- Реакции
- —