Пост канала
- фото
Ising вместо рейтинга блоков: Llama-70B на половине глубины держит MMLU Гоняете Llama-70B локально и хотите укоротить стек без недельного перебора конфигураций? Multiverse Computing выложила на Hugging Face подход: выбор блоков как минимизация энергии спиновой модели — матрица взаимодействий один раз на калибровке, дальше каждый кандидат оценивается без полного прогона. Слой по отдельности не решаешь: что срезать, зависит от соседей. При срезе половины глубины (40 из 80 блоков) MMLU держится около 77 против 54 у эвристики «удалить слабые слои» — разрыв больше двадцати пунктов, дообучение не требовали. Если режете свои веса, а не только API, загляните в открытый репозиторий и сравните с вашим block influence.
Открыть в MAX- Просмотры
- 22
- ER
- —
- Реакции
- —