Безопасное применение ИИ в разработке

ИИ меняет не только программные продукты, но и сам процесс разработки. Разработчики используют AI-ассистентов в IDE, передают моделям фрагменты кода, конфигурации и техническую документацию, а затем включают сгенерированный код в реальные приложения. Скорость разработки растёт, и AppSec с DevSecOps не всегда успевают за этим темпом.

Одновременно компании создают собственные AI-функции: используют сторонние модели, собирают датасеты, строят RAG, дообучают модели, подключают инструменты и выпускают агентные системы. Здесь безопасность уже зависит не только от кода. Нужно контролировать данные, веса, системные промпты, embeddings, внешние модели и сам ML-пайплайн.

В эфире AM Live разберём, как безопасно использовать ИИ в разработке и как защищать собственные AI-системы на всём жизненном цикле — от выбора модели и данных до релиза и эксплуатации. Обсудим AI supply chain, доверие к моделям и датасетам, AIBOM, Model Registry, security testing, AI Red Teaming и проверки, которые должны останавливать небезопасный релиз до выхода в production.

Программа

ИИ ускоряет разработку, но успевает ли ИБ

Что меняется в безопасной разработке, когда AI-ассистент уже не только пишет код, но и читает репозиторий, меняет файлы, подключает зависимости и запускает команды?
Что сегодня опаснее: уязвимый код, который сгенерировал ИИ, или данные, которые разработчик передаёт AI-ассистенту?
Где должен стоять первый контроль AI-assisted development: в IDE, на LLM Gateway, на code review или в CI/CD?
Можно ли разрешать разработчикам внешние AI-ассистенты без централизованного контроля моделей, запросов и передаваемых данных?
Нужно ли проверять AI-сгенерированный код строже обычного — или требования должны быть одинаковыми независимо от того, кто его написал?
Что считать исходными артефактами AI-системы: только код или ещё датасеты, веса, системные промпты и RAG?
Может ли команда в любой момент воспроизвести production-модель и показать, из какой базовой модели, данных, библиотек и настроек она собрана?
Чем подключение модели, LoRA-адаптера или датасета из публичного репозитория отличается от установки неизвестной библиотеки из npm или PyPI?
Достаточно ли проверить целостность файла модели — или отдельно нужно проверять и её поведение?
Где сегодня самая опасная слепая зона AI supply chain: в данных, сторонних моделях, библиотеках, инструментах обучения или инфраструктуре сборки?

Какие проверки должны остановить небезопасный релиз

Можно ли пропускать обычный software-релиз и AI-релиз через один DevSecOps-конвейер — или для моделей, датасетов и AI-артефактов неизбежно появляется отдельная ветка проверок и approval?
Если компания может внедрить только одну специализированную проверку AI-разработки, с чего стоит начать?
Должен ли AIBOM стать обязательным артефактом релиза AI-системы?
Что нужно автоматически перепроверять после изменения модели, датасета, системного промпта или RAG?
Что должен уметь Model Registry, чтобы через него можно было безопасно выпускать модель в production?
Что обязательно должно входить в минимальный security acceptance test AI-системы перед релизом?
Что нельзя надёжно проверить автоматическими AI Security-тестами и всё ещё нужно отдавать на ручной AI Red Teaming?
Какой популярный AI Security-тест чаще всего создаёт ложное ощущение защищённости, если использовать его как основной критерий допуска в production?
Можно ли для AI Security задать жёсткий критерий pass/fail — или релиз всё равно остаётся решением о допустимом остаточном риске?
Какие изменения должны автоматически запускать повторную security-проверку?
Как откатить модель, промпт или датасет, если опасное изменение поведения обнаружилось уже после релиза?

Итоги и прогнозы

Какой AI-specific security gate к 2028–2029 году станет такой же обязательной частью разработки, как сегодня SAST, SCA или secret scanning?
Какое решение в безопасной AI-разработке, принятое компаниями сегодня, с наибольшей вероятностью окажется ошибкой к 2029 году?
Если компания начинает активно использовать AI в разработке и выпускать собственные AI-функции, какие три security-практики ей нужно внедрить в первую очередь?