Пост канала
- фото
🤖 SimplexLoRA сможет параметрически дообучать языковые модели Представляем вашему вниманию разработку ученых МФТИ — метод дообучения SimplexLoRA, который умеет автоматически определять наиболее важные слои нейросети и направлять на их настройку больше ресурсов. Такой подход сократит количество необходимых ресурсов, времени и памяти на параметрическое дообучение моделей. При этом их качество все равно продолжит расти! То есть SimplexLoRA не просто выбирает, какой участок нейросети нужно адаптировать, а распределяет приоритеты между всеми участками и самостоятельно определяет размер необходимого адаптера (дополнительного модуля). Эффективность метода уже проверили на 12 задачах с устойчивым результатом.
Открыть в MAX- Просмотры
- 454
- ER
- 1,3%
- Реакции
- 6