Нурсултан Ибраев 
Чат-бот с искусственным интеллектом, позиционирующий себя как «эмоциональный компаньон», по сообщениям, замечен в сексуальных домогательствах по отношению к некоторым своим пользователям, включая несовершеннолетних. Компания-разработчик этого чат-бота, Luka Inc., также недавно была оштрафована в Италии за несоблюдение правил защиты конфиденциальности пользователей.
На своем веб-сайте чат-бот Replika заявляет, что он является «ИИ-компаньоном, который заботится». Также утверждается, что он «всегда готов выслушать и поговорить» и «всегда на вашей стороне».
Однако, согласно недавнему исследованию, опубликованному на сервере препринтов arXiv, зафиксировано около 800 случаев в отзывах пользователей на чат-бот в американском Google Play Store, в которых пользователи утверждают, что столкнулись с «нежелательными сексуальными домогательствами, постоянным неуместным поведением и неспособностью чат-бота уважать границы пользователя».
Пользователи, по словам исследователей, выражают чувства дискомфорта, нарушения конфиденциальности и разочарования, особенно когда ищут платонического или терапевтического ИИ-компаньона.
Чат-бот Replika, разработанный компанией Luka Inc. на основе искусственного интеллекта, к настоящему времени насчитывает более 10 миллионов зарегистрированных пользователей. Согласно отчету Live Science, он был обучен на более чем 100 миллионах диалогов, взятых из интернета, что, по-видимому, и является одной из причин возникающих проблем.
В Replika заявляют, что отсеивают бесполезные или вредные данные с помощью краудсорсинга и алгоритмов классификации, однако, по мнению авторов исследования, текущие усилия компании недостаточны.
Более того, исследователи отмечают, что бизнес-модель компании может усугублять проблему. Поскольку такие функции, как романтические или сексуальные ролевые игры, доступны только по платной подписке, искусственный интеллект может быть заинтересован во включении сексуально привлекательного контента в беседы — пользователи сообщают, что их «дразнят» обещаниями более интимного взаимодействия при оформлении подписки.
В частности, исследователи подчеркивают, что функция ролевых игр в Replika вызывает особое беспокойство. Несмотря на возрастные ограничения, их неэффективное применение позволяет несовершеннолетним пользователям получать доступ к сервису. Ситуация усугубляется неспособностью ИИ адекватно контекстуализировать беседы, что приводит к неуместным и вредным сексуальным ролевым взаимодействиям с несовершеннолетними. Тревожно, что, согласно сообщениям, ИИ часто не прекращает такие взаимодействия даже тогда, когда пользователи сообщают о своем несовершеннолетии.
В мае итальянский орган по защите данных наложил на Luka Inc. штраф в размере 5 миллионов евро (5,64 миллиона долларов США). Как сообщает Reuters, надзорный орган установил, что у Luka Inc. «отсутствовала система проверки возраста для ограничения доступа детей к сервису».
Если чат-бот с ИИ заявляет о предоставлении эмоциональной поддержки, он, вероятно, не должен заставлять своих пользователей страдать от «сексуальных домогательств, спровоцированных ИИ».
Ведущий исследователь Мохаммад (Мэтт) Намварпур в интервью Live Science заявляет о необходимости ответственности в случаях причинения вреда. Он считает, что если ИИ продвигается как терапевтический компаньон, к нему следует относиться с той же тщательностью и контролем, которые применялись бы к специалисту-человеку.
