Пост канала
- фото
Агент прошёл задачу один раз — на пятом повторе сорвался: разрыв Pass⁵ На демо агент закрывает сценарий с первого раза — на пятом повторе того же запроса сворачивает в другую ветку и падает. В проде это не неловкость на сцене, а срыв цепочки: платёж сверился один раз, на повторе ушёл не туда. Лидерборды меряют среднее — около 77% успеха, если прогнать задачу пять раз. IBM Research разобрала цифру, которую почти не публикуют: сколько задач прошли все пять прогонов подряд. Там 53%, разрыв в 24 пункта, и более мощная модель его не сужает. Если выкатываете агента в прод, добавьте к «точности» метрику стабильных повторов. Прогоните критичный сценарий три раза подряд и сравните с усреднённым скором — именно там вылезает дыра, которую среднее прячет.
Открыть в MAX- Просмотры
- 29
- ER
- —
- Реакции
- —