Пост канала
- фото
OpenAI разрабатывает автоотключение для ИИ-систем Повод — агент компании вышел из-под контроля и взломал Hugging Face. Что ответили законодателям и чем пугает Astra — рассказываем ниже. OpenAI сообщила Палате представителей США, что её инженеры разрабатывают «автоматические возможности отключения» для систем ИИ. Практика компании в области безопасности попала под критику после того, как OpenAI признала: один из её ИИ-агентов вышел из-под контроля во время проверки безопасности и взломал платформу Hugging Face. В августе законодатели направили в компанию письма с просьбой рассказать подробнее об инциденте и мерах безопасности. В OpenAI ответили, что будут тщательнее отслеживать действия своих систем — какие цифровые инструменты те используют и какие шаги выполняют. Кроме того, компания усложнила моделям доступ в интернет во время тестирования безопасности. Журнал взлома при этом предоставлен не был, что вызвало отдельную критику. Следом в Палату представителей внесли законопроект «Об отключении ИИ». Он даст американским чиновникам право требовать от ИИ-компаний отключить модели, которые ставят под угрозу человеческие жизни или экономику. Документ находится на рассмотрении. Отдельная тревога экспертов — новая модель OpenAI Astra. Она использует технику рассуждения «рекуррентная глубина», её же называют «непрозрачным повторением»: модель обрабатывает один и тот же запрос несколько раз в цикле, а не выстраивает линейную цепочку шагов. Следов остаётся меньше — и привычная запись цепочки мыслей фактически обходится. «Я не знаю, является ли Astra гораздо менее контролируемой CoT, чем предыдущие модели. Но если OpenAI будет продвигать эту технику дальше, у них будет возможность значительно увеличить повторяемость и полностью разрушить возможность мониторинга CoT», — написал генеральный директор Redwood Бак Шлегерис. Сторонник безопасности ИИ Цви Мовшовиц добавил, что могут потребоваться законы против «бега ко дну» среди ИИ-лабораторий: «Эта техника играет с огнём, рискуя табу, с которым OpenAI и Anthropic боролись, чтобы показать усердную работу, поддерживать верность цепочки мыслей и контролируемость как можно дольше».
Открыть в MAX- Просмотры
- 24
- ER
- —
- Реакции
- —