ИИ под прикрытием

В этом году исполняется 70 лет с момента, когда термин «искусственный интеллект» был принят научным сообществом. Любопытно, что автор термина, Джон Маккарти, умер в том же 2011 г., когда компания Apple запустила голосового помощника Siri.

В мае 2026 г. в странах опубликованы первые меры регулирования агентских ИИ- систем. Почему и что это такое?

Допустим, мы просим ИИ сделать анализ рынка. Генеративный ИИ без дополнительных инструментов возьмет информацию из данных, на которых обучен, составит текст, похожий на «анализ рынка», выдаст его и «забудет» и задачу, и свой ответ. Агентский ИИ – подвид генеративного, способный «разбить» запрос на подзадачи, спланировать, какие данные и откуда взять, проверить себя и выдать более «осмысленный» результат. Такой ИИ сам решает, какие шаги выполнить в рамках задачи, какие данные и приложения использовать.

Возникает вопрос: кто отвечает за ущерб, причиненный агентским ИИ?

Например, агентский ИИ в компании ошибочно заказывает поставку товаров. Может ли компания отказаться от заказа, потому что он сделан без участия человека? Нужно ли установить обязательное одобрение заказа человеком? Этим риски агентского ИИ отличаются от традиционных систем ИИ: человек может потерять контроль над действиями и решениями агентского ИИ из-за его высокой степени автономности, при этом сам агентский ИИ может выходить за рамки своих инструкций и тем самым причинять вред.

Так, в Китае в Позиции Управления киберпространства КНР отмечается, что необходимо законодательно разграничить, какие решения агентский ИИ может принимать только с участием человека, какие – без него, а какие вообще нельзя передавать ИИ.

Аналогично в Сингапуре в Модельном руководстве по управлению агентскими ИИ компаниям рекомендуется до запуска агентского ИИ определить, к каким данным он имеет доступ, может ли только читать или также изменять данные, что он может делать только с одобрения человека, т.е. предоставить минимально необходимый доступ. Например, каждый раз, когда ИИ собирается использовать чувствительные данные, отправлять сообщения, совершать платежи и т.п. Также рекомендуется разрешать ему использовать только определенные API , давать доступ к программам или данным лишь на время, не разрешать передавать свои права доступа другим системам ИИ.

Другая проблема агентских ИИ: как отслеживать ход их работы, если они состоят из нескольких ИИ-систем (особенность ИИ-агентов, что один ИИ может делегировать задачи другим), используют разные инструменты (например, почтовые клиенты, мессенджеры), делегируют задачи ИИ и т.д. Цепочки их действий не всегда видны пользователю: агентский ИИ может выдать цепочку своих действий, но что сделали другие агенты или приложения в цепочке – не видно. КНР предлагает осваивать работу ИИ-агентов на блокчейне, чтобы действия каждого агента были максимально прозрачны.

Органы Австралии, США, Канады, Новой Зеландии и Великобритании по кибербезопасности в Руководстве по внедрению агентских ИИ рекомендуют разработчикам агентских ИИ встраивать в системы специальные журналы взаимодействий между агентами: если один агент передал задачу другому, в журнале должно быть отражено, кому, какие действия совершены, какими инструментами и т.д.

Регуляторы стран также указывают на риски цифровой безопасности, например, когда ИИ удаляет данные из других приложений или перегружает их запросами, и т.д. Пример: инцидент с ИИ- агентом Replit, который в ходе работы целиком удалил базу данных разработчика, создававшего с помощью этого агента приложение. Рекомендуют тестировать, как агентский ИИ ведет себя с доступом к разным внешним программам, создавать ИИ-агентов, отслеживающих, чтобы основной ИИ не вредил, и чтобы ИИ на каждом шаге своей работы «держал в уме» цель, зачем он это делает и т.д.

В России пока не наблюдается инициатив по развитию регулирования агентских ИИ. Однако, например, в законопроект Минцифры по ИИ, можно внести нормы со спецификой рисков агентских ИИ, установив правила для разработчиков по внедрению мер отслеживания действий агентского ИИ и пр.

Материал из выпуска мониторинга №5 (29), май 2026. Скачать выпуск целиком (PDF) · страница выпуска на сайте Института Гайдара