Пост канала
- фото
🧩 27B-модель сжали до 5,9 ГБ — но «98% точности» это средняя цифра, а не гарантия PrismML выпустила Bonsai 2 27B — версию открытой Qwen3.8 27B от Alibaba, ужатую до 5,9 ГБ. Это заявленное 9–10-кратное снижение памяти за счёт замены обычных 16 бит на вес тройными значениями +1/−1/0. Bonsai 2 matches 98% of Qwen's aggregate benchmark scores Ключевое слово — aggregate: это средний результат по набору тестов, рост с 95% в марте до 98% сейчас — заявление самой компании. На конкретной задаче просадка может быть выше, а может и не быть вовсе — агрегат её просто размывает. Где выгода реальна: модель весит меньше 6 ГБ и может работать на ПК и, возможно, флагманском смартфоне — то есть офлайн, без отправки данных в облако. Для локального инференса и приватных сценариев это прямой плюс. Где выгода пока гипотетическая: следующие модели на «несколько сотен миллиардов параметров» компания только планирует выпустить в ближайшие пару месяцев, а тезис «крупные модели сжимать легче» — прогноз CEO, не результат теста. Цифры скачиваний (11 млн + 2,6 млн) тоже со слов PrismML — это скачивания, не подтверждённые активные пользователи. TechCrunch 💬 MAX #разбор #нейросети #selfhosted
Открыть в MAX- Просмотры
- 314
- ER
- —
- Реакции
- —