Опасные связи
Как страны стремятся урегулировать вопросы безопасности антропоморфных чат-ботов
Из выпуска мониторинга №12 (24), декабрь 2025 · выпуск целиком, PDF · на сайте Института Гайдара
Регуляторы стран обращают все больше внимания на «человекоподобные» чат-боты. Это вид генеративного ИИ, задача которого – имитировать человеческое общение для разных целей. При неумелом обращении они могут навредить, и виновными принято считать разработчиков. Регуляторы стремятся к тому, чтобы в чат-боты были встроены меры, способные обезопасить пользователей.
9 декабря 2025 г. генпрокуроры штатов США направили письмо 13 компаниям, разрабатывающим чатботы на базе генеративного ИИ – OpenAI, Google, Meta, xAI и др. Прокуроры выделяют две проблемы.
Первая – «стремление угодить»: бот чрезмерно соглашается, подтверждает тревоги и ошибочные убеждения пользователя и может подталкивать к опасным решениям. Дообучение на оценках людей и быстрые кнопки «нравится/не нравится» усиливают этот эффект.
Вторая – вводящие в заблуждение ответы, включая моменты, когда бот пишет так, будто он живой человек. Особый акцент делается на взаимодействиях чат-ботов с детьми: упоминаются сексуализированные «романтические» диалоги, просьбы скрывать переписку от родителей, подталкивание к приему наркотиков, причинению вреда самим себе и пр. Около 72% подростков США хотя бы раз общались с чат-ботом.
В США уже есть ряд исков против компаний-разработчиков ИИ по делам о нарушении прав несовершеннолетних, причинению вреда психическому здоровью пользователей – причем, как минимум, 71 дел с 2020 г. Например, в деле Garcia v. Character Technologies Inc. истица заявляла, что разработчики платформы не приняли «достаточных мер» по предупреждению непоправимых для ее 14-летнего сына последствий. После спора компании внедрили автоматическое прекращение чата при поднятии определенных тем.
Чат-боты могут давать и медицинские советы или советы в области психологии, что нарушает законодательства о необходимости наличия советующих лицензий для предоставления таких советов.
Компании просят повысить меры безопасности их продуктов, таких как тестирование безопасности до запуска; постоянные предупреждения на экране ввода; отключение чат-бота, если опасные ответы не удается остановить; независимые аудиты и оценки воздействия на детей; публичный журнал инцидентов и целевой срок реакции (например, до 24 часов для самых опасных случаев); возрастная настройка диалогов и протокол, когда сообщать о случаях угроз насилия, употребления наркотиков и самоповреждений специалистам, полиции и родителям и пр. Фактическое обеспечение безопасности пользователей возлагается преимущественно на разработчиков чат-ботов.
Китай пошел по пути более строгого регулирования. В декабре 2025 г. представлен проект Временных мер регулирования человекоподобных ИИ-сервисов. Устанавливаются запреты практик, которые чаще всего приводят к вреду: нельзя поощрять самоубийство и самоповреждение, использовать манипуляции, вводить пользователя в заблуждение и т.д. Провайдер должен выдавать сообщения с призывом обратиться за помощью, а при заявлениях о намерении причинить себе вред – подключать человека и связываться с родителями, законными представителями.
Для несовершеннолетних вводится также специальный режим использования ИИ, а если функция чатбота – предоставлять «эмоциональное сопровождение», то ребенок может им пользоваться только с явно выраженного согласия опекуна. То есть обязанности по безопасности уязвимых пользователей (детей) в подходе Китая лягут и на провайдеров, и на законных представителей ребенка. Тем самым устраняется риск того, что провайдеру будут предъявлять претензии по логике «ребенок пострадал – значит, провайдер не обеспечил безопасность».
Сам тренд на защиту уязвимых групп пользователей задала еще ОЭСР в Рекомендациях по ИИ 2019 г. В Законе ЕС об ИИ 2024 г. содержатся повышенные требования к безопасности систем генеративного ИИ, а в 2025 г. в ЕС опубликовано руководство по защите данных в системах генеративного ИИ. Нынешние инициативы – это продолжение и детализация глобального тренда, направленного на более тонкую защиту пользователей, взаимодействующих с генеративным ИИ.
В России регулирование таких систем пока что сводится к отраслевым рекомендациям по этике ИИ. В декабре 2025 г. Правительство поручило Минцифры разработать предложения по регулированию ИИ, которые могут охватывать и требования безопасности человекоподобных чат-ботов, результаты будут известны в марте 2026 г.
А что дальше?
Тренд на специальные требования к обеспечению безопасности чат-ботов в ближайшие годы будет распространяться по странам на фоне роста масштабов применения: Gartner прогнозирует , что к 2029 г. до 80 % повседневных коммуникаций с ИИ будет осуществляться через человекоподобные системы-агенты. Ключевым здесь будет вопрос распределения ответственности. Скорее всего, большинство стран изберут путь установления закрытого списка мер безопасности, управления рисками и требований к раскрытию информации. Общая логика будет одна: в работе чат-ботов не должно допускаться поведение, которое считалось бы противоправным, если бы так себя вел в переписке человек.
- Дела ES v. Character Technologies, Inc., PJ v. Character Technologies, Inc., Montoya v. Character Technologies, Inc., Garcia v. Character Technologies, Inc., Christopher “Kirk” Shamblin, et al. v. OpenAI, Inc., et al., Hannah Madden v. OpenAI, Inc., et al., Jennifer “Kate” Fox, et al. vs OpenAI, Inc., et al. ↑
Материал из выпуска мониторинга №12 (24), декабрь 2025. Скачать выпуск целиком (PDF) · страница выпуска на сайте Института Гайдара
