Пост канала
- фото
Как оценить LLM перед продом: шесть практик на кейсе GitHub Если ты впервые катишь LLM в прод, офлайн-скор почти всегда обманывает: на датасете всё однозначно, в репозитории контекст обрезан и соседние строки выглядят как секрет. Прогонять модель после каждого промпта — не паранойя, а нормальный инженерный цикл. GitHub на примере secret scanning собрала шесть практик оценки до релиза. Сначала фиксируют продуктовое решение: что считается успехом и где recall нельзя опускать ради precision. Потом офлайн как интеграционные тесты — одна переменная за раз, промпты под версией, каждый прогон сравнивают с baseline. Перед выкаткой сверь: рост точности при recall ниже порога — повод остановиться, а не отпраздновать победу. По одной метрике кейс выглядит хорошо, в проде пропускаешь настоящие токены.
Открыть в MAX- Просмотры
- 44
- ER
- —
- Реакции
- —