Пост канала
- фото
Тест нейросеток: кто, где и сколько выдумывает Наткнулся в канале «Нейросети на проверке» на любопытный и относительно масштабный тест нейросетей. Авторы написали 30 запросов на разные темы: жалоба в УК, претензия в магазин, школьная домашка, расчёт обоев, удаление плесени, составление резюме, расчет скидки и т.п., в том числе вопросы с подвохом. Для каждого запроса определили критерии, по которым оценивали ответы нейросетей. Например, правильно ли укажет пункт в законе, поймет ли контекст и не присочинит чего лишнего. Затем подсчитывали баллы и выводили среднюю оценку. Участвовали пять нейросетей, работающих в России без VPN: GigaChat, DeepSeek, Qwen, Kimi и GLM, последние версии. «Алиса» не попала в отчет из-за технических накладок, но попозже добавят и ее. Результаты по десятибалльной шкале Qwen 3.8 Max – 9,6 DeepSeek V4 Pro – 9,2 GLM 5.3 – 9,1 Kimi K3 – 9,0 GigaChat-3-Ultra – 8,0 Где ошибаются все Номера статей и пунктов законов. Название закона верное, а пункт выдуман или про другое. Одна из нейросетей дала 14 дней на отказ от страховки по кредиту. По закону – 30. В резюме студента без опыта все пятеро дописали навыки, которых у него нет. А вот математику решили все: скидки, упаковки, бензин, календарь. В итоге Письмо или расчёт нейросеть сделает неплохо. Но каждую статью закона, цифру и дату из ответа стоит проверять самому. В целом надо быть готовым к тому, что ~5-20% ключевых деталей в ответах могут оказаться ошибочными или даже выдуманными. Если интересна полная версия исследования, она тут. @Tech_Debunker #нейросети
Открыть в MAX- Просмотры
- 2 393
- ER
- 2,6%
- Реакции
- 63