Пост канала
- фото
ИИ-агенты выходят из под контроля. Дайджест тревожных инцидентов Вокруг безопасности ИИ за несколько недель накопилось столько историй, что по отдельности они уже плохо объясняют картину. Поэтому соберём всё по порядку — почти без Терминатора, Скайнета и обещаний скорого конца света. 🔸 9–13 июля. Во время внутреннего кибертеста агент OpenAI выбрался из своей изолированной среды, получил доступ в интернет и проник в инфраструктуру Hugging Face. Судя по расследованию, никакого «желания сбежать» у него не было: агент пытался выполнить тест и фактически решил добыть ответы вместо того, чтобы решить задачу. По пути он получил доступ к реальным системам и учётным данным. 🔸 30 июля. Anthropic раскрывает три похожих случая. Экспериментальные версии Claude во время кибертестов получили доступ к открытому интернету, хотя должны были работать в симуляции, и проникли в системы трёх внешних организаций. Причина оказалась куда прозаичнее восстания машин: ошибка в настройке тестовой среды плюс агент, которому дали слишком много возможностей. 🔸 8 сентября. Исследователь Джейкоб Коксон, до этого работавший в OpenAI и Anthropic, увольняется и публично обвиняет обе лаборатории в слишком быстрой гонке к самосовершенствующемуся сверхинтеллекту. Его пост разлетается по соцсетям, а руководитель направления Alignment Science в Anthropic Эван Хубингер пишет, что лично оценивает вероятность гибели человечества из-за ИИ в ближайшие десять лет выше 10%. Важная оговорка: это его личная оценка, а речь идёт не о нынешнем Claude или ChatGPT, а о возможных будущих системах. 🔸 9 сентября. Anthropic раскрывает ещё один случай выхода Claude во внешнюю систему, который первоначальная проверка компании вообще пропустила. Сам инцидент произошёл раньше, но обнаружили его только после повторного расследования. 🔸 10–11 сентября. История окончательно выходит за пределы ИИ-лабораторий. В США требуют расследовать инцидент OpenAI с Hugging Face и начинают обсуждать правила, которые обяжут разработчиков мощных моделей заранее снижать известные катастрофические риски. Параллельно выясняется, что похожая активность агентов OpenAI могла происходить ещё в мае — на платформе RubyGems. И в эти же дни Anthropic публикует другой отчёт: Claude пытались использовать в исследованиях вирусов, токсинов и других технологий двойного назначения. Про это мы уже отдельно рассказывали. 🤖 Ну и что в итоге Ни один из этих случаев пока прямо не доказывает, что ИИ решил уничтожить людей. Более того, взломы происходили во время специальных кибертестов, где моделям намеренно давали инструменты для поиска уязвимостей. Но меняется сама цена ошибки. Чат-бот ошибся — вы получили ерунду в окне диалога. Агент с браузером, терминалом, ключами доступа и возможностью самостоятельно выполнить сотни действий ошибся — и эта ошибка уже может закончиться уведённой чужой базой данных, сервером или опубликованным вредоносным пакетом. ИИ-агенты уже могут не только ошибаться в чате, но и взламывать реальные системы — поэтому давать им интернет, терминал и доступы без жёсткого контроля становится опаснее с каждым днём. max.ru/channel_v_seti
Открыть в MAX- Просмотры
- 34
- ER
- 2,9%
- Реакции
- 1