Пост канала
- фото
Ученые не могут прекратить использовать искусственный интеллект, даже если им это запрещено ‼ 👥 Когда ученых попросили просмотреть документы для конференции без использования инструментов искусственного интеллекта, многие из них проигнорировали запрос и все равно использовали искусственный интеллект 😇 Запрет исследователям использовать искусственный интеллект для оценки научных статей не сильно влияет на выводы рецензентов — во многом потому, что многие из них игнорируют запрет и все равно используют ИИ. Команда под руководством специалистов по информатике из Microsoft Research провела масштабный рандомизированный эксперимент во время Международной конференции по машинному обучению 2026 года (ICML), одной из крупнейших в мире конференций по искусственному интеллекту, которая прошла в Сеуле, Южная Корея, в июле. На конференцию было подано 24 661 статья, требующих проверки со стороны 17 886 рецензентов. Когда исследователи подавали свои работы, они могли выбрать способ рецензирования. Первый вариант предполагал, что статьи будут оцениваться рецензентами в соответствии с консервативной политикой, полностью запрещающей использование больших языковых моделей (БЯМ) для рецензирования. Другой вариант — поручить оценку рецензентам, используя разрешительную политику, которая допускает использование больших языковых моделей для понимания статей, проверки связанных работ и улучшения собственных текстов рецензентов, но не для оценки достоинств статьи или составления рецензии на работу. Команда под руководством ученых из Microsoft Research выяснила, что статьи, рассмотренные в соответствии с двумя разными политиками, имели практически одинаковый процент одобрения — 27 % при более строгой политике и 26,5 % при менее строгой, — а средний балл рецензента составил 3,31 и 3,32 из 6 соответственно. Уверенность рецензента также практически не изменилась. Отзывы, написанные в рамках разрешительной политики, были примерно на 5,5–7 % длиннее и получили от экспертов чуть более высокую оценку качества, хотя сравнение по авторам не выявило существенной разницы. Причина отсутствия различий стала ясна после анонимного опроса 1486 рецензентов, принявших участие в исследовании. 22,5 % рецензентов, которым было дано указание не использовать ИИ, признались, что все равно использовали большие языковые модели. «Самоотчеты о несоблюдении требований в 23 % — это определенно больше, чем я ожидал», — говорит Миро Дудик из Microsoft Research, который участвовал в исследовании и был одним из организаторов конференции. Те, кто использовал ИИ, несмотря на запрет, делали это для мозгового штурма, составления черновиков отзывов, чтения статей и обобщения их сильных и слабых сторон. «Наш опрос после конференции выявил некоторые причины, по которым рецензенты могут нарушать правила, например большой объем работы и недостаточно четкие правила», — говорит Дудик. «Это исследование показывает, что запретить использование искусственного интеллекта при рецензировании очень сложно, — говорит Кайван Куша из Вулверхэмптонского университета, Великобритания. — Из-за загруженности ученых возникает соблазн» использовать ИИ, — говорит Куша. В отдельной части исследования ученые проанализировали рецензии с помощью Pangram — детектора текстов, созданных искусственным интеллектом. Они обнаружили, что только 52,2 % рецензий, написанных в рамках консервативной политики, были классифицированы как полностью написанные человеком, по сравнению с 37,0 % рецензий, написанных в рамках либеральной политики. Однако исследователи предупреждают, что детекторы текстов, созданных искусственным интеллектом, не идеальны. «Я считаю, что наша работа будет полезна для других конференций по информатике — и, возможно, для площадок в других областях, — которые сталкиваются с аналогичными проблемами», — говорит Санни С. И. Ким из Microsoft Research. Темы: #ИИ / #Вычислительнаятехника / #Наука Крис Стокел-Уокер
Открыть в MAX- Просмотры
- 71
- ER
- 1,4%
- Реакции
- 1