Пост канала
Семь раз подумай, один раз обучи В условиях дефицита видеокарт и высокой стоимости вычислений работать с ИИ по принципу “просто добавь ускоритель” уже не выходит. Учёные по всему миру бьются над оптимизацией обучения и инференса, и наши команды — не исключение. На EMNLP 2026 в Будапеште приняли сразу семь работ за авторством исследователей из Т-Технологий — все прошли слепое рецензирование. 🤖Одна из работ выросла из зоопарка моделей. В Т-Банке дообучили Qwen3-32B под реальные корпоративные задачи и перевели на неё запросы более чем 200 внутренних приложений. Теперь она обрабатывает половину трафика внутренней LLM-платформы — 116 млн запросов в месяц. По данным команды, обслуживание обходится в 2,8-3,9 раза дешевле, чем на Qwen3-235B, а в проверенных задачах без режима рассуждений компактная модель даже обошла большую. ℹ️Следующая статья — про документы, где автоматизация сама по себе ещё не гарантирует экономии. Исследователи научили визуально-языковую модель извлекать нужные поля по текстовому запросу; для её дообучения достаточно одной Nvidia H100. При расчёте стоимости учли и работу человека: какие поля можно принять автоматически, какие подтвердить, а какие разобрать вручную. Получилось более чем на 80% дешевле ручной обработки и более чем на 50% дешевле лучшей из протестированных открытых моделей. 💻 Дальше экономию искали внутри самой нейросети. SimplexLoRA, разработанная вместе со Сбером, МФТИ и Университетом Иннополис, распределяет ограниченный бюджет обучаемых параметров между слоями: больше достаётся тем, которые важнее для задачи, при этом общий бюджет не увеличивается. LIMe позволяет слоям обращаться к результатам более ранних этапов обработки. В экспериментах на моделях примерно с миллиардом параметров это помогло достичь качества базовой LLaMA с 15% меньшими вычислительными затратами. 💻 Отдельная проблема возникла при обучении с подкреплением: модель закрепляет популярные способы решения, а редкие, но тоже верные, начинает выдавать реже. F-GRPO ослабляет обновления на задачах, с которыми модель уже уверенно справляется, сохраняя разнообразие решений. В тесте на Qwen2.5-7B оказалось достаточно генерировать восемь учебных ответов вместо 32, чтобы превзойти обычный GRPO в проверенных задачах. ✔️ В ESSA ребята из Т-Технологий пошли дальше и заменили градиентный этап дообучения эволюционным поиском. Создаются слегка различающиеся настройки небольших адаптеров модели, проверяются ответы, удачные варианты задают направление следующему поколению. Видеокартам почти не нужно обмениваться данными. В эксперименте на 128 GPU метод довёл Qwen2.5-32B до заданного качества на математическом тесте в 7,8 раза быстрее, чем GRPO с LoRA-адаптерами. ☣️ Седьмая работа, KronSAE, удешевляет исследование того, что происходит внутри модели. Метод помогает выделять интерпретируемые признаки и связи между ними, сокращая вычисления на их извлечение более чем на 40% относительно TopK SAE. Код нескольких разработок и открытую версию корпоративной модели команда опубликовала — коллеги могут воспроизвести методы и проверить их на своих задачах. @anti_agi
Открыть в MAX- Просмотры
- 33
- ER
- —
- Реакции
- —