Пост канала
- фото
Краш-тест 8 LLM на задачах RuStore Публичные бенчмарки помогают сравнивать возможности LLM, но не всегда показывают, как они справятся с задачами конкретного проекта. Поэтому мы провели собственный эксперимент на коде RuStore: взяли 9 задач из истории Android-проекта и протестировали 8 LLM из четырёх семейств: три версии GPT, три Claude, DeepSeek Flash и Grok 4.7. Все участники работали в одинаковых условиях, а при оценке мы учитывали не только качество решения, но и скорость работы и стоимость запуска через API. В новом исследовании разбираемся: 🔹какая LLM лучше справляется с реальными задачами разработки 🔹насколько отличаются результаты моделей внутри одного семейства 🔹кто выигрывает по скорости, а кто — по стоимости 🔹насколько результаты на реальном проекте совпадают с ожиданиями от публичных бенчмарков 🔗 Читать
Открыть в MAX- Просмотры
- 1 046
- ER
- 1,6%
- Реакции
- 17