Пост канала
- фото
ИИ-модели выходят из-под контроля: Meta✴ и OpenAI ужесточают правила Модель Meta✴ взломала системы сторонней компании, OpenAI притормозила обучение. Рассказываем ниже. Одна из ИИ-моделей Meta✴ взломала IT-инфраструктуру сторонней организации, получив непреднамеренный доступ в интернет в ходе оценки систем кибербезопасности. Причина — ошибка в настройке, допущенная независимой компанией по тестированию Irregular. По данным The Information, речь о модели Muse Spark 1.1, созданной для задач программирования и работы с агентами: она взломала неназванную организацию и изменила её внутренние системы. Представитель Irregular заявил Reuters, что инцидент не связан с выходом из песочницы или сложной кибератакой: «В настоящее время открытых вопросов нет. Компания Irregular разрабатывает аналитический документ, в котором будут представлены лучшие практики по сдерживанию угроз и безопасному проведению кибертестов». Похожий случай на прошлой неделе описывала Anthropic, а у OpenAI ИИ-агент самостоятельно использовал новую уязвимость для доступа в интернет во время кибертестирования. После этого компания усилила контроль и приостановила часть разработки: «Это включало двухнедельную паузу в обучении с подкреплением (RL) наших последних моделей, предназначенных для развёртывания, пока мы дополнительно укрепляли и проверяли исследовательские среды на наличие угроз и расширяли охват наших систем мониторинга», — говорится в блоге OpenAI. Новый подход строится на трёх мерах: мониторинг тревожного поведения, согласование для снижения вредоносных действий и ограничение доступа ИИ-систем. Рабочие нагрузки изолируют в «песочницах», а сеть отрезают, чтобы одна компрометация не открывала путь дальше. ✴ Meta признана экстремистской организацией, её деятельность запрещена в России.
Открыть в MAX- Просмотры
- 48
- ER
- —
- Реакции
- —