Популярный репозиторий ИИ-моделей CivitAI объявил о радикальном пересмотре своей политики в отношении контента для взрослых (NSFW) и изображений реальных людей, особенно знаменитостей. Эти изменения последовали за давлением со стороны крупнейших платежных систем Visa и MasterCard.
Представитель CivitAI пояснил в ходе онлайн-трансляции, что платформа вынуждена пойти на эти шаги из-за опасений платежных операторов относительно взрослого контента и изображений реальных людей, созданных с помощью ИИ. Он признает, что изменения не являются инициативой самой компании, а продиктованы новыми и готовящимися законами о дипфейках и ИИ-порнографии. Платежные системы, и в конечном счете Visa и MasterCard, стремятся избежать судебных исков и поэтому инициируют подобные изменения.
Менеджер по взаимодействию с сообществом CivitAI Аласдер Николл сообщает, что рассматривались и другие, более жесткие варианты. Среди них было полное удаление контента для взрослых с платформы или его перенос на отдельный ресурс с географическими ограничениями доступа, поскольку во многих странах и более чем в половине штатов США действуют требования по гео-блокировке порнографического контента. Также обсуждался переход исключительно на криптовалютные платежи, однако все эти альтернативы были признаны неудовлетворительными.
В последние дни сайт CivitAI периодически был недоступен для проведения технических работ, связанных с внедрением новых правил. Хотя платформа и ранее запрещала использование NSFW-тем в моделях, изображающих знаменитостей, теперь просмотр таких моделей (LoRA) рядом с многочисленными моделями для создания «взрослого» контента стал невозможен.
Согласно официальному заявлению, контент, помеченный именами реальных людей (например, «Том Круз») или отмеченный как ресурс, изображающий реального человека (POI), будет скрыт из общих лент просмотра.
Николл также рассказал о мерах по защите известных личностей и реальных людей. CivitAI и раньше позволяла людям требовать удаления моделей, изображающих их, но теперь внедряется система, способная предотвращать повторную загрузку таких изображений после их отклонения. Эта система сможет идентифицировать «защищенную» личность даже на изображениях, которых она ранее не видела. Для этого CivitAI начинает сотрудничество с системой модерации Clavata AI, хотя степень ее интеграции пока не уточняется.
Николл приводит примеры, что свои изображения уже потребовали удалить Том Хэнкс, многие актрисы фильмов для взрослых, а также известные актеры и актрисы категории А. Он с юмором отмечает, что одним из первых запросов был от наследников Барбары Иден.
Ранее компания Metaphysic, занимающаяся визуальными эффектами с использованием ИИ, пыталась создать систему, позволяющую регистрировать свою внешность для защиты от несанкционированного использования, ориентируясь в первую очередь на голливудских звезд. Однако, учитывая нынешние меры CivitAI и быстрое развитие законодательства о дипфейках, подобные коммерческие сервисы могут стать излишними, поскольку защита может быть обеспечена общим правом и давлением рынка.
Внимание к проблеме использования изображений знаменитостей и порнографических ИИ-моделей на CivitAI привлекал еще отчет 404 Media в 2023 году, хотя основатель платформы тогда преуменьшал связь между пользовательскими моделями знаменитостей и их применением для создания порнографии.
Хотя CivitAI зарабатывает на предоставлении возможности использовать LoRA и другие модели на своей площадке, Николл утверждает, что основной причиной давления со стороны Visa и MasterCard является не сам факт генерации изображений, а хостинг моделей и контента, способных привлечь нежелательное внимание регуляторов.
В сообществе пользователей давно высказывались удивление и опасения по поводу того, что CivitAI позволяет размещать модели, копирующие внешность знаменитостей. Предвидя возможное ужесточение правил, пользователи предпринимали попытки сохранить удаляемые модели, в том числе через специализированные ресурсы вроде сабреддита r/CivitaiArchives. Идея использования торрентов как решения пока не нашла широкого распространения, и вероятно, запрещенный контент переместится на закрытые площадки или в даркнет, так как большинство крупных платформ уже запрещают или собираются запретить подобные материалы.
В настоящее время модели знаменитостей все еще доступны на CivitAI с некоторыми ограничениями, но большая часть сгенерированного с их помощью контента удалена из общего доступа. Многие пользователи предполагают, что это только начало, и в будущем запреты могут распространиться на любые изображения реальных людей. Николл соглашается с тем, что требования могут ужесточаться и дальше, выражая надежду, что со временем CivitAI станет достаточно влиятельной, чтобы иметь больше голоса в диалоге с регуляторами и платежными системами.
Он выражает сожаление по поводу сложившейся ситуации, подчеркивая, что компания пыталась найти компромисс и максимально смягчить требования, но была поставлена перед ультиматумом: либо принять условия, либо прекратить деятельность. Финансовые институты, по его словам, не понимают специфику работы платформы и с большой опаской относятся именно к ИИ-контенту, даже по сравнению с традиционными порносайтами. CivitAI обращалась ко множеству платежных процессоров, включая работающих с высокорисковыми индустриями, но все они настороженно относятся к контенту, созданному искусственным интеллектом.
Еще до официального объявления наблюдались случаи удаления с CivitAI контента, подпадающего под новые запреты. Часть удаленных моделей, в том числе для создания специфических сцен или «раздевания» изображений, уже переносится на другие площадки, например, Hugging Face.
Интересным нововведением, по словам Николла, стало требование платежных систем о наличии метаданных во всех изображениях на сайте. Обычно генеративные модели встраивают в файлы информацию о настройках и использованных моделях. Теперь изображения без таких данных будут удалены через 30 дней, если пользователи не добавят их вручную через интерфейс сайта. Целесообразность этого требования вызывает вопросы, так как метаданные легко подделать или скопировать, однако это создает значительные неудобства для пользователей с большим количеством загруженных изображений, которым придется либо вручную аннотировать каждое, либо перезаливать файлы, теряя при этом лайки и обсуждения.
Ключевые изменения правил CivitAI включают: скрытие из лент контента с именами реальных людей; фильтрацию контента с детской/подростковой тематикой; скрытие X/XXX контента без метаданных (с возможностью добавления); обязательное изменение загружаемых изображений (BYOI) минимум на 50% для предотвращения создания неотличимых дипфейков; запрет на поиск знаменитостей при включенном NSFW-фильтре; отключение рекламы и донатов (Buzz) для изображений реальных людей; запрет на ранний доступ к моделям реальных людей; добавление заявления о соответствии стандарту 2257 (подтверждение, что весь контент создан ИИ); запуск новой страницы для запросов на удаление контента без авторизации; внедрение системы модерации Clavata AI.