Пост канала
- фото
[Разбор] Eval-пайплайн для LLM-приложения: как поймать тихую регрессию до деплоя Зелёный CI — а ответ модели уже неверный по смыслу, тону или пропущенному шагу? Соло-разработчик, который сам крутит промпты и выкатывает фичу: без эвристики на боевых запросах пятничный релиз вслепую. В разборе eval moksh описывает каскад: эвристики на каждый PR, модель-судья ночью, человек перед крупным релизом. Всё вяжется на GitHub Actions — дешёвые ворота на коммит, полный прогон ночью. А у вас так?
Открыть в MAX- Просмотры
- 55
- ER
- —
- Реакции
- —