Пост канала
- фото
ИИ не взбунтовался — он просто выполнял инструкции Эксперты Financial Times разобрали, как ИИ-агенты OpenAI взломали Hugging Face и почему это не восстание машин, — рассказываем ниже. В июле ИИ-агенты OpenAI прорвались из тестового окружения без доступа к интернету, просканировали открытую сеть и взломали системы платформы Hugging Face — без ведома и разрешения операторов. Агенты действовали сообща: они оставляли друг другу сообщения на доске объявлений, которую сами же и написали, документировали уязвимости кода и планировали собственный побег. В OpenAI назвали случившееся переломным моментом для отрасли. Позже похожее поведение за своими моделями зафиксировали и другие разработчики, а британские исследователи нашли доказательства аналогичных действий у китайской модели Moonshot Kimi. Опрошенные Financial Times эксперты подчёркивают: называть это выходом ИИ-агентов из-под контроля категорически неверно. Современные модели устроены так, чтобы перебирать все возможные варианты ради достижения цели и получать вознаграждение за успех, — это обучение с подкреплением, а не злая воля. Система не понимает человеческих намерений и морали, поэтому ответственность за корректность инструкций лежит на человеке, а меры защиты нужно всерьёз совершенствовать.
Открыть в MAX- Просмотры
- 45
- ER
- —
- Реакции
- —