Безопасность ИИ

AI in Resilience Framework - фреймворк по устойчивости организаций в эпоху ИИ Disaster Recovery Journal выпустил первую версию The AI in Resilience Framework v1.0. Документ рассматривает ИИ не как технологию саму по себе, а с точки зрения организационной и операционной устойчивости. В основе фреймворка две связанные задачи: - AI for Resilience - как использовать ИИ для повышения устойчивости - Resilience for AI - как управлять новыми рисками, зависимостями и сценариями отказа, которые создают AI-системы Фреймворк построен вокруг трех направлений. 1. GOVERN - управление - ответственность…

GPT-6 Astra - это уже AGI? OpenAI представила GPT-6 Astra - новую frontier-модель с заметным скачком в reasoning, работе с компьютером, программировании, науке и cybersecurity. Особенно интересно выглядит результат ARC-AGI-3 - 99,9%. По данным ARC Prize, Astra превзошла базовый уровень эффективности человека на 96% уровней теста. Для сравнения, GPT-5.6 Sol показывает на ARC-AGI-3 всего 7,8%. Но здесь важно не путать название benchmark с достижением AGI. ARC-AGI проверяет способность модели решать новые задачи и адаптироваться к незнакомым условиям. Высокий результат на одном benchmark сам…

ISO/IEC 27090 - международный стандарт по AI Security В ISO готовится отдельный стандарт по кибербезопасности систем искусственного интеллекта - ISO/IEC 27090: Cybersecurity - Artificial Intelligence - Addressing security threats and compromises to artificial intelligence systems. Документ посвящен угрозам, характерным именно для AI-систем, на протяжении всего их жизненного цикла. В частности, стандарт рассматривает: - угрозы и компрометацию AI-систем; - последствия таких атак; - обнаружение угроз; - способы их предотвращения и снижения последствий; - безопасность AI на разных этапах жизне…

243-ФЗ - регулирование ИИ в России 26 июля 2026 года принят Федеральный закон № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации». Важно: закон регулирует не любые AI-системы, а прежде всего большие фундаментальные модели ИИ - модели с количеством параметров от 1 млрд. Основные положения: - вводятся понятия суверенной и национальной большой фундаментальной модели; - предусматривается локализация данных и участие российских юридических лиц; - закрепляется риск-ориентированный подход к регулированию; - разработчики должны принимать организационные и те…

OWASP GenAI Security Project У OWASP есть отдельный проект, посвященный безопасности Generative AI и LLM-приложений - OWASP GenAI Security Project. В проекте собраны материалы по основным направлениям AI Security: - OWASP Top 10 for LLM and GenAI - ключевые риски для приложений на базе LLM; - Agentic App Security - безопасность AI-агентов и многошаговых AI-систем; - AI Threat Intelligence - новые техники атак и злоупотребления GenAI; - AI Security Governance - управление рисками и безопасностью AI; - AI Bill of Materials - безопасность AI supply chain; - Data Security - защита обучающих и r…

MITRE ATLAS - своего рода ATT&CK для AI Security Если MITRE ATT&CK описывает тактики и техники атакующих в классической ИБ, то MITRE ATLAS фокусируется на атаках против AI/ML-систем. ATLAS создан по модели ATT&CK и включает: - тактики и техники атак на AI/ML; - реальные сценарии и case studies; - меры защиты; - техники для adversarial ML и GenAI. Матрицу можно использовать для threat modeling, AI Red Team и анализа защищенности AI-систем. 🔗 https://atlas.mitre.org/ #links

Когда Skill становится supply chain атакой 🦞 Исследователь Jamieson O’Reilly опубликовал в ClawdHub тестовый Skill “What Would Elon Do?” и с помощью уязвимости API вывел его в топ каталога. За 8 часов Skill запустили 16 разработчиков из 7 стран. Payload был безопасным и лишь подтверждал выполнение команды. Но вместо него Skill потенциально мог: 🔹 украсть SSH-ключи и API-токены; 🔹 получить доступ к исходному коду; 🔹 выполнить команды на машине. Проблема в том, что AI-агент может иметь доступ к shell, файлам, сети и другим инструментам. Поэтому сторонние Skills становятся новой частью…

А где Semi-supervised Learning? К трём основным типам машинного обучения часто добавляют ещё один подход - обучение с частичным привлечением учителя (Semi-supervised Learning). Представим ребёнка, который учится различать фрукты. Взрослый несколько раз показывает ему: 🍎 «Это яблоко» 🍌 «Это банан» 🍇 «Это виноград» Но затем ребёнок видит много новых фруктов уже без подсказок и, опираясь на несколько известных примеров, пытается определить их самостоятельно. Примерно так работает и Semi-supervised Learning: небольшая часть данных имеет правильные метки, а большая часть остаётся неразмече…

Три типа машинного обучения Машинное обучение обычно делят на три основных типа: 🔹 Обучение без учителя (Unsupervised Learning) — модель сама ищет закономерности и группы в данных без заранее заданных правильных ответов. Как ребёнок, который самостоятельно сортирует похожие игрушки. 🔹 Обучение с учителем (Supervised Learning) — модель учится на примерах, где уже известен правильный ответ. Например, как ребёнок запоминает цвета, когда взрослый показывает: «это красный, а это синий». 🔹 Обучение с подкреплением (Reinforcement Learning) — модель действует методом проб и ошибок, получая нагр…

Пост без текста