Пост канала
- фото
AISI публикует проверенные Evaluation Cards для SWE-Bench Pro и Terminal-Bench Таблица лидеров по кодинг-агентам убедительна, пока не выяснится, что процент сняли при другом лимите токенов и другом протоколе. Если подбираешь модель под правки в репозитории и работу в терминале — откуда цифра: со скрина или из условий прогона? Институт безопасности ИИ в Британии вместе с EvalEval опубликовал открытые карточки оценки: конфиг прогона, контекст и проверенные результаты в одной записи. Среди пяти бенчмарков в релизе — задачи в репозитории и терминальные сценарии, не чат-бот в вакууме. Сравни карточку с тем, как ты запускаешь агента локально: так видно, совпадает ли чужой отчёт с твоим сценарием или цифры разъехались только из-за настроек.
Открыть в MAX- Просмотры
- 15
- ER
- —
- Реакции
- —