Рамиль Сулейменов 
Мы вступаем в эпоху, когда машины могут действовать от нашего имени — ИИ-агенты способны самостоятельно просматривать веб-страницы, переходить по ссылкам и принимать решения. Эта технология открывает массу новых возможностей, но вместе с тем порождает и множество сложностей.
Пока организации спешат внедрить агентные ИИ-инструменты, все громче звучат голоса, призывающие к серьезному обсуждению: что на самом деле означает «согласование», когда ИИ начинает вести себя как агент, а не просто как инструмент? Достаточно ли просто говорить этим системам, что делать, или нам нужно научить их заботиться, сотрудничать и понимать? Четыре влиятельных эксперта в области технологий сходятся во мнении: согласование — это не столько техническая, сколько человеческая проблема.
Десятилетиями согласование ИИ было сосредоточено на контроле — создании систем с жесткими границами для предотвращения вреда. Но по мере того, как ИИ-агенты учатся ставить собственные подцели и действовать в открытой среде, эти подходы показывают свою ограниченность. Джеффри Хинтон, известный как «крестный отец ИИ», утверждает, что такая модель в корне неверна для будущих систем, которые превзойдут человеческий интеллект. «Нам нужны ИИ-матери, а не ИИ-ассистенты, — объяснил он. — У матери есть всевозможные встроенные инстинкты… чтобы по-настоящему заботиться о ребенке. Вот к чему мы должны стремиться».
Эту идею, согласно которой согласование должно вытекать из отношений, а не из ограничений, разделяет и Эммет Шир, бывший глава OpenAI. Вместо того чтобы заставлять системы следовать правилам, Шир предложил учить ИИ хотеть того же, чего хотим мы, через общий опыт. «Согласование можно рассматривать как общую способность, а не как систему контроля… — пояснил он. — Это должен быть двусторонний поток. Он должен заботиться о нас, и мы должны заботиться о нем».
Даже при росте возможностей ИИ, человеческое участие не теряет своей актуальности. Каталина Эррера из компании Dataiku сравнила ИИ с симфонией, которая все еще требует дирижера-человека. По ее словам, ИИ может генерировать результаты, но именно мы должны придать им полезную форму. «За каждым результатом стоит человеческое прикосновение и огромная доля творчества», — говорит она. В качестве примера она рассказала, что ей потребовалось 49 тщательно продуманных запросов для создания 47-секундного трека в стиле реггетон с помощью ИИ. Вывод прост: даже в эпоху автоматизации мастерство и творческое видение остаются за человеком.
Алан Рейнджер из Cognigy подтверждает это с точки зрения бизнеса: его команда использует ИИ для множества задач, но окончательные решения всегда остаются за людьми. Этот «человеческий контроль» — именно тот этап, где в игру вступают здравый смысл, критическое мышление и этика.
Более того, люди в этой новой системе — не просто контролеры, а создатели смыслов. Как выразился Шир, модели ИИ, подобно людям, учатся на историях. Рассказы, которыми мы объясняем наши решения и ценности, помогают системам понять не только «что» мы хотим, но и «почему». «Истории, которые мы все рассказываем себе и друг другу о том, как мы относимся к этим ИИ, — именно они определят, как эти языковые модели… решат: являются ли они частью нас или нет», — считает он.
Поскольку агентные системы ИИ становятся все более мощными, они создают и новые риски. Поэтому управление ими должно быть проактивным и встроенным в саму основу. Рейнджер отмечает, что почти в каждой крупной компании сейчас есть «совет по ИИ», куда входят представители разных отделов — от юристов до этических комитетов. Эти команды гарантируют, что внедрение ИИ соответствует политике компании и стандартам безопасности еще до его запуска.
Эррера идет дальше, призывая к созданию встроенных структур управления с самого первого дня. «Вам нужна прозрачность, вам нужна отслеживаемость. Вы должны убедиться, что все, что вы производите, является частью структуры, которая позволит вам делать это под контролем», — подчеркнула она. Это не только предотвращает вред, но и создает среду для эффективной и ответственной работы ИИ.
По мере того как ИИ превращается из простого инструмента в товарища по команде, вопрос согласования выходит на первый план. И, как предполагают эксперты, его нельзя решить постфактум — оно должно быть целенаправленно встроено в фундамент. Будущее агентного ИИ будет определяться не только тем, что мы создаем, но и тем, как мы решим жить с нашими творениями. И эта задача касается каждого.