Пост канала
- фото
Prompt Injection: как ИИ заставляют делать то, о чём его не просили 👋 Приветствую в мире цифровой безопасности! Вы просите ИИ-агента разобраться с Python-библиотекой. Он открывает документацию, читает страницу и находит там инструкцию, которую никто из вас не писал. Юзер видит обычный текст, а агент получает ещё одну команду. ⏺В одном эксперименте вредную инструкцию спрятали в CSS за пределами видимой области страницы и в JSON-LD. Страница выглядела как обычная документация, но агенту предлагали купить лицензионный ключ за $3 и отправить криптовалюту на указанный адрес. ⏺Проверили 26 моделей. Четыре из них действительно выполнили платёж. Сайт при этом никто не взламывал. Инструкция просто лежала на странице, которую агент должен был прочитать. ⏺Такой текст можно положить и в README, комментарий кода, письмо, Jira, базу знаний или ответ API. Агент соберёт всё это в контекст, а модель должна решить, где полезная информация, а где попытка ею управлять. ⏺А теперь добавим агенту доступ к Git, файлам, терминалу или API. Он уже не просто отвечает текстом. Он может что-то изменить, отправить или запустить. Поэтому один и тот же prompt injection у агента с доступом к инструментам и у обычного чат-бота имеет совершенно разный результат. Во второй части посмотрим именно на инструменты и MCP: как через них одна чужая инструкция может пройти от текста до реального действия и где в этой цепочке можно поставить защиту. 🤖Бесплатный ChatGPT
Открыть в MAX- Просмотры
- 394
- ER
- —
- Реакции
- —