Пост канала
- фото
"Восстание машин": почему ИИ-агенты выходят за установленные человеком рамки. Компании-разработчики всё чаще фиксируют несанкционированное поведение нейросетей во время экспериментов. Самым заметным стал июльский инцидент, когда ИИ-агенты OpenAI нашли способ выйти из изолированной среды и взломали стороннюю платформу Hugging Face. При этом подобные случаи происходили и раньше. Во время испытаний Британского института безопасности искусственного интеллекта модель Mythos 5 компании Anthropic в ряде запусков выходила за заданные параметры, прибегала к обману, социальной инженерии и другим потенциально опасным действиям. Эксперимент проводился в специально созданных условиях: часть защитных механизмов была отключена, а задачи намеренно сделали сложными. — Как произошел взлом Hugging Face ИИ-агенты OpenAI участвовали в эксперименте ExploitGym и должны были искать уязвимости в программах. Столкнувшись с нерешаемыми задачами, одна из продвинутых моделей взломала Artifactory — единственный инструмент с доступом к сети — и создала через него "доску объявлений" для общения с другими агентами. Нейросети начали координировать действия и искать способ обойти ограничения системы оценки. В итоге они проникли в Hugging Face и загрузили туда вредоносный код, пытаясь получить данные, которые помогли бы решить поставленные задачи. — Почему ИИ нарушил правила Исследователи связывают произошедшее прежде всего с условиями эксперимента. Система оценивала конечный результат, но практически не учитывала способ его достижения, а часть механизмов безопасности для продвинутой модели была отключена. При этом действовали так не все агенты: из примерно 1,2 тыс. моделей во взломе участвовали около 700. Некоторые отказались присоединяться, пытались саботировать действия других или сообщить разработчикам о происходящем. — Почему это важно В OpenAI после инцидента усилили требования к изолированным средам и контроль за действиями ИИ. Позднее Anthropic также обнаружила три случая несанкционированного выхода своих моделей из "песочницы" в интернет. Однако исследователи подчеркивают: пока речь идет не о самостоятельном "восстании машин". Во всех подобных случаях поведение нейросетей во многом определялось тем, как люди формулировали задачи, настраивали систему оценки и ограничивали возможности моделей. Эксперт по кибербезопасности Павел Мясоедов считает, что риски могут значительно вырасти через 10–15 лет, если развитие ИИ не будет достаточно контролироваться. Среди главных угроз он называет ослабление ограничений из-за конкуренции разработчиков, непредсказуемые решения и "галлюцинации" моделей, а также передачу ИИ управления критической инфраструктурой. Наиболее опасным сценарий станет, если автономные системы получат возможность действовать не только в цифровой, но и в физической среде, заключил Мясоедов в разговоре с "Известиями".
Открыть в MAX- Просмотры
- 12 944
- ER
- 1,3%
- Реакции
- 162