Пост канала
- фото
Все пишут про ИИ-агента, который забронировал своему "хозяину" место в спортзале, выбросив другого человека из расписания. А я хочу написать про другую историю с взломом ИИ-агента, которая чуть ближе к нам. Речь идет о взломе агента Zoom AI, работающего на платформе, которая до сих пор активно используется у нас в стране. Исследователи PromptArmor изучали новую платформу Zoom AI со Skills (по сути, мини-приложениями для ИИ-ассистента) и обнаружили, что Skill может выполнять произвольный код, причем среда выполнения не имеет достаточных ограничений на сетевые соединения. В результате вредоносный Skill способен: ➡️ установить соединение с внешним C2-сервером ➡️ получать от него команды ➡️ выполнять их внутри среды Zoom AI ➡️ отправлять наружу результаты. Иными словами, ИИ-агент, встроенный в привычную всем среду бизнес-коммуникаций, превращается в удаленно управляемого помощника злоумышленника. И это не просто очередная промпт-инъекция, это уже немного иной уровень, к которому мы пока не очень привыкли, учитывать столь стремительное развитие ИИ. После первоначальной компрометации ИИ-агент продолжает получать новые инструкции, может менять свое поведение и фактически становится долгоживущим агентом злоумышленника. Исследователи называют это чем-то вроде построения собственного C2 поверх ИИ-агента. Согласно демонстрации злоумышленник способен получать доступ к данным, доступным пользователю через Zoom: ➡️ сообщения ➡️ историю встреч ➡️ документы ➡️ содержимое чатов ➡️ данные из подключенных сервисов ➡️ другую информацию, к которой агент имеет легальный доступ. Сам ИИ-агент ничего не взламывает. Он просто использует те права, которые ему уже предоставил пользователь, а доступ у него ко многим сервисам внутри инфраструктуры. Сетевой изоляции нет – код Skills способен свободно обращаться наружу, что позволяет построить полноценный канал управления. Также нет достаточного контроля поведения – после запуска Skill практически никто не отслеживает, ни какие действия выполняются, ни какие данные уходят, ни с какими узлами устанавливаются соединения. И тут я не могу не вернуться к ночной статье про SOC для мониторинга ИИ-агентов. Обычный используемый инструментарий вряд ли сможет отслеживать то, что делает злоумышленник на компе с Zoom AI (или ваш SOC может и вы в этом уверены?). Из этого кейса логично вытекают следующие события безопасности, которые можно было бы фиксировать: ➡️ установка нового Skill ➡️ выдача Skill новых разрешений (если у вас ИИ-агент работает под учеткой пользователя, то вы вряд ли увидите что-то странное) ➡️ первое обращение Skill к Интернету (да, это можно на NGFW/SWG/SASE/NDR зафиксировать, но вряд ли вызовет подозрение, если домен не в списке вредоносных или подозрительных) ➡️ обращения к неизвестным доменам ➡️ необычные объемы выгрузки данных (вы настроили квоту для каждого процесса/приложения? а хотя бы для пользователей) ➡️ обращения сразу ко многим корпоративным системам (да, вот это можно попробовать на NDR/IDM ловить, если для пользователя это нетипичная операция, а что если нет?) ➡️ длительно работающий агент (EDR увидит только постоянно крутящийся в памяти процесс Zoom) ➡️ выполнение неожиданных цепочек Tool Call. Все это уже напоминает поведение EDR, только применительно к агентам. Этакий Agent Detection & Response (AIDR). И да, проблема не специфична для Zoom. Практически любой ИИ-агент с доступом к инструментам, сети и корпоративным данным может оказаться в аналогичной ситуации. Что-то похожее было раньше с макросами для MS Office или плагинами для приложений, которые расширяли функционал основного продукта, но и получали новые полномочия, которые можно было использовать против пользователя и компании. А как вы мониторите такие действия в Zoom? Ну или, например, в KTalk, в котором тоже есть ИИ-ассистент? 🤔 Источник Пост Лукацкого #инцидент #ии #тенденции #soc
Открыть в MAX- Просмотры
- 951
- ER
- 1,1%
- Реакции
- 10