Исключение рисков при использовании ИИ в правоохранительной деятельности

Опыт Европы

В правоохранительной деятельности ИИ использовался в ЕС как минимум с середины 2010-х годов, в том числе для наблюдения в общественных местах во время определенных событий (например,¹ саммита G20 в Гамбурге) . Границы такого вмешательства в права людей вызывали озабоченность, в том числе депутатов² Европарламента .

В мае 2024 г. в ЕС принят Закон об³ ИИ , который узаконивает возможность уже для постоянного наблюдения в режиме реального времени и в любом публичном пространстве более чем за 6 тысячами человек, которые разыскиваются по европейскому ордеру за преступления.

Закон относит ряд систем ИИ, используемых в правоохранительной деятельности к «высокорисковым», что предполагает повышенные требованиям к таким системам: обеспечивать автоматическую запись событий на протяжении жизненного цикла системы ИИ; применять систему управления рисками, включая тестирование и пр.

Так, использование удаленной биометрической идентификации подозреваемых в реальном времени в общественных местах (отслеживание с помощью ИИ по камерам наблюдения) в правоохранительной деятельности запрещено, но допустимо по предварительному разрешению судебного органа в отношении некоторых особо опасных преступлений (терроризм, торговля людьми, оборот наркотиков и пр.). Список преступлений достаточно широкий.

Также разрешено профилирование лиц правоохранительными органами при уголовном расследовании, однако требуется обеспечить надзор человека за работой ИИ.

Таким образом, в ЕС возможно использование ИИ при уголовных расследованиях с соблюдением определенных требований к высокорисковым системам ИИ. Так, Закон признает риски дискриминации и нарушения фундаментальных прав при применении систем ИИ (например, на безопасность – не опасаться ареста только потому, что камера с ИИ на улице сигнализировала о совпадении изображения с преступником). Для снижения таких рисков Закон вводит требования к высокорисковому ИИ – к качеству данных, анализу рисков, человеческому мониторингу работы и решений, возможности донастройки систем ИИ.

Будет ли соблюдение этих требований достаточным, чтобы не создавать искажения, остается под вопросом. Так, если система обучена даже на репрезентативных данных, показывающих, что, например, кражи совершают люди из одной страны или одного пола, то создаются риски дискриминации – система ИИ, обучаясь на таких данных, может указывать в первую очередь именно на этих людей в качестве подозреваемых.

В ЕС предпринята попытка соблюсти баланс рисков и пользы ИИ через предъявление к высокорисковому ИИ для правоохранительной деятельности⁴ специальных требований . Однако, например, Австрия считает эти меры недостаточными для гарантий прав граждан, по ее мнению, правоохранителям даются⁵ слишком большие полномочия .⁶

Стоит отметить, что Совет Европы еще в 2018 г. разработал и принял этические принципы использования ИИ в судебных⁷ системах , которые легли в основу регулирования этой сферы в ЕС. В частности, в списке принципов присутствуют требования к качеству и безопасности систем, информированности пользователей и др.

Опыт США

В США отсутствует регулирование ИИ в правоохранительной сфере. Это создает проблемы соблюдения полицией прав подозреваемых и усложняет их защиту, например, в 2020 г. человек был арестован по подозрению в краже, поскольку ИИ показал его соответствие фото преступника,⁸ но кражи он не совершал .⁹

Законопроекты штатов Вермонт и¹⁰ Вирджиния (январь 2024 г.), относят системы ИИ, существенно влияющие на доступ к уголовному правосудию, к высокорисковым. Это значит, что предъявляются особые требования по управлению рисками и к данным, на которых обучен ИИ.

Подход этих штатов отличается от подходов, принятых в ЕС, по двум основным вопросам:

1) не запрещается использовать ИИ, например, для оценки риска совершения преступлений человеком только на основе его профилирования;

2) не требуется контроль человека за работой ИИ, но требуется обязательно проинформировать лиц, в отношении которых принимается решение на основе ИИ, о применении такой системы и ее целях, а в Вермонте и о том, как она работает.

В результате прозрачность систем ИИ, влияющая на право подозреваемых на защиту, обеспечивается общими требованиями к высокорисковому ИИ (о качестве используемых данных, управлением рисками), а также правом подозреваемого получить информацию о работе ИИ.

Опыт Китая

Специальное регулирование использования ИИ в правоохранительной деятельности отсутствует. Однако в 2022 г. Верховный суд Китая выпустил аналогичные Совету Европы принципы применения ИИ в¹¹ судебной деятельности . При этом в Китае заложены специальные принципы, как:

– ИИ не должен заменять судью в принятии решений;

– ответственность за вынесенное решение лежит на принимающем его лице, а не ИИ;

– право пользователя (судья, подсудимый и пр.) отказаться от продуктов ИИ при вынесении решений.

Опыт России

В России отсутствует специальное регулирование использования ИИ в уголовном процессе. При этом среди основных функций МВД России есть задача по внедрению ИИ в информационно-¹² аналитическую систему , но методические рекомендации использования этих сервисов в открытом доступе отсутствуют. Закрытость такой информации усложняет анализ и оспаривание решений, принятых с использованием ИИ в системе МВД, в том числе защиту подозреваемых и обвиняемых по уголовным делам.

В 2023 г. человек был обвинен в убийствах на основании решения нейросети, что он похож на фоторобот преступника на¹³ 55% (дело против А. Цветкова) . Дела, обстоятельства обвинения в которых схожи с делом А. Цветкова, в открытых источниках отсутствуют, однако в условиях недоступности данных о применении ИИ в системе МВД это может означать отсутствие не таких дел, а их огласки. С учетом существующего характера судебно-правовой системы (избрание мер пресечения, низкая доля оправдательных приговоров) это усугубляет риски преследования невиновных лиц и ведет к размыванию ответственности за принятые в ходе расследования решения. Возможность предъявления обвинения в результате процедуры с непрозрачным механизмом применения ИИ затрудняет установление ответственного за обвинение и защиту обвиняемого.

В России возможно:

1. Установить требования к системам ИИ, предназначенным для использования в расследовании преступлений, касающиеся используемых данных, в том числе для обучения и тестирования, управления рисками, прозрачности, контроля человеком;

2. Обеспечить правовые гарантии, что решение, сгенерированное при участии ИИ, не может быть принято без участия человека. С одной стороны, это означает, что за любое решение в итоге несет ответственность человек, с другой – привлечение его к ответственности – вопрос правоприменения.

Материал из выпуска мониторинга №5, май 2024. Скачать выпуск целиком (PDF) · страница выпуска на сайте Института Гайдара