Пост канала
- фото
4-битный GPT-OSS 60B после QAH обгоняет bfloat16 на кодинге Четырёхбитная модель на коде — привычная история про компромисс. Multiverse Computing показала обратное: после лечения при квантовании сжатый GPT-OSS обходит полноточный чекпоинт на бенчмарках с агентным кодингом. Обычно знания тянут из восстановленной половинной модели — потолок точности там ниже, чем у оригинала до сжатия. Новый метод учит четырёхбитную версию напрямую от полной копии до структурного урезания. На семи из девяти тестов сжатая модель выше полноточной. Если крутишь модели с открытыми весами локально и память на видеокарте решает — пересмотри четырёхбитный вариант как рабочую точку входа.
Открыть в MAX- Просмотры
- 43
- ER
- —
- Реакции
- —