Пост канала
- фото
[Разбор] Gemma 4 на ноутбуке: три множителя скорости и один флаг llama.cpp Множитель с обложки врёт. Чат стримится быстрее на карте. Длинный системный промпт бьёт по паузе до первого слова. Соло с IDE на локальном сервере: не одна цифра с обложки решает, где упрётесь в агентном цикле с инструментами. В разборе разница процессора и карты сводится к одному параметру выгрузки слоёв в llama.cpp. Скорость чата не равна скорости всего агента. Что тормозит у вас: поток или пауза?
Открыть в MAX- Просмотры
- 50
- ER
- —
- Реакции
- —