Искусственный интеллект (ИИ) стремительно внедряется в различные сферы нашей жизни: от медицины до образования, от транспорта до государственного управления. Правоохранительные органы также всё чаще используют ИИ, чтобы повысить эффективность, сократить время реагирования и предсказывать потенциальные угрозы.

Однако не все такие технологии безопасны с точки зрения соблюдения прав человека. Некоторые вызывают обоснованные опасения из-за своей непрозрачности и предвзятости, а другие и вовсе используются как инструменты контроля и репрессий.

Мы уже писали о подборках систем ИИ, применяемых в сфере безопасности в Германии и США, в этом материале рассмотрим системы ИИ, которые применяются в Китае и России.

Использование системы IJOP в Синьцзяне (КНР)

Как работает технология

IJOP (Integrated Joint Operations Platform) – это централизованная система массового наблюдения, используемая полицией в Синьцзян-Уйгурском автономном районе Китая. IJOP квалифицируется как система искусственного интеллекта, поскольку автоматически выявляет поведенческие отклонения, принимает решения на основе многопараметрического анализа и направляет действия властей, выполняя функции управленческого ИИ.

Она агрегирует и обрабатывает огромные массивы персональных данных от различных источников: от камер наблюдения, телефонных метаданных, мобильных приложений и бытовых счетчиков до поведения в интернете, межличностных связей и перемещений граждан. На основе анализа этих данных IJOP автоматически формирует «оценку подозрительности» и инициирует полицейские проверки, задержания или ограничения свободы передвижения.

Система действует превентивно, люди могут быть задержаны за действия, не являющиеся преступлениями, например, за использование WhatsApp, длительное пребывание за границей или избыточное потребление электроэнергии.

В чём проблема

IJOP автоматически обозначает как «подозрительные» многие формы мирной повседневной деятельности, например неиспользование главного входа, отказ от общения с соседями, наличие родственников за границей. В результате система порождает масштабные произвольные задержания, ограничение свободы передвижения и отправку людей в лагеря политического перевоспитания без обвинений и суда. Human Rights Watch установила, что IJOP функционирует как инструмент этнически мотивированных репрессий против уйгуров и других тюркских мусульман.

Система формирует поведенческий профиль на каждого жителя региона, включая биометрию, контакты, передвижения и цифровую активность. Человеку неизвестно, на каком основании он попал в категорию «подозрительных», а обжалование невозможно. IJOP непрозрачна, недоступна для аудита и фактически заменяет собой судебную процедуру.

Какие права затрагиваются

Применение IJOP затрагивает целый ряд международно признанных прав, в том числе:

• Право на свободу от произвольного задержания – поскольку IJOP инициирует меры пресечения без судебного решения и без признаков совершенного правонарушения
• Право на частную жизнь – из-за массового сбора и анализа личных данных (включая биометрию, контакты, перемещения, поведение в быту и в сети) без ведома и согласия граждан
• Право на свободу передвижения – поскольку система автоматически ограничивает доступ к общественным пространствам и возможность покинуть регион на основе поведенческих оценок
• Презумпция невиновности – заменяется алгоритмической «оценкой подозрительности», не основанной на юридически доказанных фактах
• Право на свободу вероисповедания – поскольку мирные религиозные действия (например, пожертвования в мечеть или чтение Корана) маркируются системой как подозрительные
• Право на справедливое судебное разбирательство, принцип правовой определенности – отсутствует возможность узнать критерии оценки, представить возражения или обжаловать автоматические решения системы.

Использование систем «Окулус» и «Вепрь» в России

Как работают технологии

Системы «Окулус» и «Вепрь» являются частью интегрированной цифровой инфраструктуры мониторинга и фильтрации контента, разработанной по заказу Роскомнадзора. Они предназначены для автоматического выявления «нежелательной информации», включая нарушения российского законодательства, признаки «информационного напряжения», и визуальные материалы, подпадающие под блокировку. 

• «‎Окулус» использует технологии компьютерного зрения и искусственного интеллекта для анализа изображений и видеоматериалов, включая надписи, QR-коды, субтитры и сцены с действиями людей. Система распознает и классифицирует «‎экстремизм», «‎ЛГБТ-пропаганду», «‎призывы к протестам», наркотики и прочее. 
• «Вепрь» выполняет семантический и поведенческий анализ текстов и строит прогнозы распространения «опасных» тем в медиаполе. Алгоритм оценивает реакцию аудитории и вероятность роста общественного недовольства. Заявленной целью является «раннее выявление точек информационного напряжения» в популярных СМИ и соцсетях.

В чём проблема

Хотя официально заявляется о целях борьбы с незаконной информацией, на практике обе системы создают технологическую базу для цензуры и подавления инакомыслия. Их работа происходит в условиях отсутствия независимого надзора, с потенциальным доступом к данным пользователей, а алгоритмы классификации непрозрачны и могут быть использованы для политически мотивированных блокировок и преследований. В совокупности это означает переход от ручного контроля к масштабной автоматизированной системе управления публичной информацией и цифровым поведением.

Какие права затрагиваются

Применение систем «Окулус» и «Вепрь» затрагивает ряд прав, в том числе:

• Право на частную жизнь – из-за мониторинга изображений, видео и текстов, включая потенциальный анализ личной переписки, профилей и активности в мессенджерах и соцсетях.
• Право на свободу выражения мнения – поскольку алгоритмы распознают и маркируют политические взгляды, критику власти и протестную риторику как нарушения.
• Право на справедливое судебное разбирательство, принцип правовой определенности – алгоритмы непрозрачны, критерии блокировки неизвестны, решений нельзя обжаловать.

Таким образом, развитие ИИ в правоохранительной сфере – это не только вопрос технологического прогресса, но и правовых, этических и гуманитарных последствий. Как показывает приведенная подборка, алгоритмы могут усиливать дискриминацию, нарушать частную жизнь, подменять справедливый суд алгоритмическими оценками и использоваться для политического контроля.

Важно не только совершенствовать технологии, но и обеспечивать прозрачность, подотчетность и соответствие их применения международным стандартам прав человека. Без этого ИИ рискует стать не помощником общества, а инструментом его угнетения.