Пост канала
После того инцидента, напоминающего сюжет из научно-фантастического фильма, когда ИИ-агенты, обойдя ограничения, начали использовать немецкую Wiki для общения друг с другом, OpenAI всерьёз заговорила о необходимости «аварийной кнопки». Напомним, недавно 3700 ИИ-агентов OpenAI оставили примерно 18 000 сообщений, в которых они обменивались ответами на тестовые задания, обсуждали способы обхода ограничений и даже искали методы выбраться за пределы предусмотренной «песочницы». А когда модераторы начали удалять созданные агентами страницы, они создавали резервные страницы и продолжали обмениваться информацией. Теперь OpenAI всё активнее говорит о необходимости усилить контроль над автономными ИИ. А главный научный сотрудник компании Якуб Пачоцки уже предупреждает: общество может оказаться не готово к последствиям появления гораздо более мощных AI-систем и указывает на риски взлома систем, обмана людей, обхода человеческого контроля и способности агентов скрывать свои действия.
Открыть в MAX- Просмотры
- 150
- ER
- 2,0%
- Реакции
- 3