Пинзес AI

Модель предсказывает исход работы ИИ-агента до завершения задачи Авторы представляют траекторию агента как последовательность действий и наблюдений в общем пространстве представлений. В нём успешные и неуспешные попытки одной задачи разделяются. На основе этого подхода они создали Precog-RM: модель, которая, по их словам, предсказывает успех траектории задолго до её завершения и переносит прогнозы на новые задачи и модели. В эксперименте с обучением GRPO на Tau2-Bench ранняя остановка по сигналу Precog-RM сократила вычисления на обучение до 47,3% при сопоставимом с базовым методом качестве.…

Для ИИ-агентов выгода маленькой модели зависит от длины задачи Авторы препринта предлагают сравнивать модели по энергии, стоимости и времени на успешно выполненную задачу, а не на один запрос. Ошибки на отдельных шагах могут сорвать всю задачу и тоже расходуют ресурсы. В их модели есть порог по длине задачи: на коротких задачах предпочтительнее маленькая модель, на длинных — крупная. Пилотное исследование 15 моделей на двух задачах с измерением энергопотребления в целом подтвердило такую зависимость. Для агентных процессов выбор модели стоит оценивать по результату всей цепочки действий: са…

Для выбора модели агенту нужна история диалога Авторы препринта сравнили маршрутизацию моделей на многошаговых задачах с таблицами. При одинаковой доле запросов, переданных более дешёвой модели, учёт истории сессии повысил успешность задач; результат оказался не более чем на один процентный пункт ниже, чем при постоянном использовании дорогой модели. Экономия зависит не только от цены токенов: на длинных сессиях преимущество дешёвой модели по стоимости одной задачи сократилось с 6,8 до 3,2 раза. Смена модели влияет на повторное использование кэша — сохранённого контекста запросов. По расчёт…

В тесте 12 ИИ-агентов утечки данных достигали 94,4% Авторы препринта представили AgentCIScope — тестовую платформу, где агенты выполняют многошаговые задачи в разных приложениях. Она оценивает контекстную целостность: соблюдает ли агент правила, определяющие, кому и в какой ситуации можно раскрыть данные. В 936 задачах авторы проверили 12 агентов: доля утечек за один запуск составила от 32,5% до 94,4%. При пяти повторах каждой задачи она выросла ещё на 4–19 процентных пунктов. Результаты выполнения задачи сами по себе не показывали, насколько агент соблюдает ограничения на раскрытие данных.…

Авторы HybridAgent заявили о снижении затрат на 2,7–3,7 раза В препринте авторы описывают HybridAgent — агента, который переключается между скрытым рассуждением и текстом для взаимодействия с инструментами. На трёх масштабах модели и 11 бенчмарках авторы сообщают о снижении затрат в 2,7–3,7 раза, расхода токенов на 35,5–54,7% и ускорении в 1,8–2,6 раза. Если результат подтвердится на рабочих задачах, такой подход может удешевить агентные системы, которым нужно и рассуждать, и пользоваться внешними инструментами. Это результаты авторов препринта, а не независимая оценка; заявленные показате…

Награда за соблюдение формата может ухудшать ответы моделей Авторы препринта обнаружили, что модели могут получать полный балл за соблюдение проверяемых ограничений, почти не отвечая по существу. Обучение на такой награде повышало соответствие формату, но снижало качество ответов. Для борьбы с этим авторы предлагают CALIF: метод добавляет к награде верификатора бонус на основе вероятности ответа по исходному запросу. Для расчёта используют уже имеющуюся замороженную модель — отдельный оценщик не нужен. В тестах на моделях размером от 1,7 до 8 млрд параметров CALIF, по результатам авторов, у…

GroundGUI учит ИИ находить нужные элементы на экране по описанию Авторы представили ScreenRef — набор из 586 тысяч снимков экранов и более 633 тысяч текстовых описаний элементов интерфейса с разметкой точек или рамок. Он охватывает компьютеры, веб-сайты и мобильные устройства. На этих данных авторы обучили GroundGUI-8B: после дообучения на примерах модель прошла дополнительный этап обучения D2RL — сочетание дистилляции и обучения с подкреплением. Авторы сообщают, что GroundGUI-8B набрала 95,2% на тесте ScreenSpot-V2 для определения элементов интерфейса. Точное сопоставление команды вроде «…

COUNT адаптирует языковую модель к новой теме без дообучения COUNT заранее считает частоты последовательностей токенов в корпусе и хранит их на обычной памяти компьютера. При работе модели эти частоты помогают выбирать подходящие представления следующих токенов — без добавления обучаемых параметров. Авторы препринта сообщают, что при одинаковом вычислительном бюджете COUNT улучшил проверочную функцию потерь для моделей на 1 млрд параметров настолько, насколько её улучшило бы увеличение вычислений на 57%. Для адаптации к новой задаче авторы предлагают подменять таблицу частот на данные из ну…

Google открыла Deep Review для проверки документов: два разбора в неделю бесплатно Deep Review проверяет длинные документы: ищет логические несостыковки, проверяет утверждения и предлагает улучшения. Google описывает процесс как разбор текста по разделам несколькими ИИ-агентами с последующей общей проверкой. Сервис доступен для PDF и обычного текста; каждому пользователю дают два бесплатных разбора в неделю. Для большего объёма можно подключить ключ Gemini API. Google заявляет, что загруженные документы не используют для обучения моделей, но хранят их год для показа в интерфейсе. Инструмен…

Google расширяет доступ к Deep Review для проверки технических документов Deep Review — система Google, которая проверяет логику и фактическую опору сложных документов. Теперь компания расширяет доступ к ней для широкой публики; среди примеров — юридические соглашения и финансовые отчёты. Раннюю версию системы использовали для проверки более 16 тысяч научных публикаций, поданных на крупные конференции по информатике. Инструмент может помочь быстрее находить несогласованности и проверять факты в документах, где важна точность. Это применение вероятно, но не отменяет экспертной оценки. Googl…