Пост канала
- фото
Jev-as-a-judge в LangSmith: типизированный судья вместо дорогого LLM Три корректных ответа агента на одну задачу — и жёсткая code-based проверка всё равно красная. LLM-судья спасает смысл, но на каждом trace это деньги и разброс вердикта. LangSmith подключил Jev от TypeSafe между кодом и LLM: не параграф текста, а готовые feedback keys — утечка да/нет, интент из списка, шкала фрустрации. Несколько вопросов в одном запросе; второй критерий почти не удлиняет ответ. Если tracing project уже есть — открой Evaluators, выбери провайдер TypeSafe и jev-latest, критерии задай вопросами вместо рубрики. Так проще прогнать весь поток на утечки и подмену промпта, а не сэмплить дорогого судью.
Открыть в MAX- Просмотры
- 14
- ER
- —
- Реакции
- —