Пост канала
- фото
Ответ верный, а путь — нет: трейсы Hermes через NeMo Relay 108 одинаковых прогонов на ToolPerf: у Qwen успех вырос с 70% до 81%, зато агент почти вдвое чаще тянет инструменты и отвечает дольше. В туториале NVIDIA по Hermes это разбирают через NeMo Relay — сессия, шаги модели и вызовы в одной иерархии с таймингами, не только итоговый балл. Открой тот же прогон в Phoenix: видно, где harness добавил восстановление после сбоя, а не «умнее модель». Там же учебный Docker — от скрипта с ответом 42 до задачи с поиском по сети и отчётом с источником. Правишь harness под процент успеха — сначала сравни траекторию baseline и патча на одной задаче, потом смотри на зелёный чек.
Открыть в MAX- Просмотры
- 13
- ER
- 7,7%
- Реакции
- 1