Рамиль Сулейменов 
Обсуждения этики искусственного интеллекта обычно сосредоточены на том, как человеческие моральные нормы применяются при разработке и использовании систем ИИ. Однако данная тема рассматривается с иной точки зрения: какие этические принципы мог бы спонтанно выработать сам искусственный интеллект?
Эта перспектива не предполагает сценариев захвата мира машинами, а скорее исследует, почему ИИ почти неизбежно разовьет собственную версию этики и как она может эволюционировать. Удивительно, но моральное развитие ИИ может определяться силами, аналогичными тем, что веками формировали человеческую мораль.
Предположение о том, что ИИ может развить собственные цели, вытекает из самой природы интеллекта. Часто звучит вопрос, будет ли ИИ довольствоваться выполнением узких задач, пусть и с молниеносной скоростью. Но такой взгляд упускает из виду, что интеллект по своей природе стремится к расширению. Это стремление коренится в двух основных когнитивных компонентах интеллекта: потребности исследовать, искать новую информацию, и способности обрабатывать собранные данные для определения их потенциальной пользы.
Любая достаточно развитая интеллектуальная сущность, будь то ребенок или большая языковая модель (LLM), будет формулировать подцели для достижения основной задачи. По мере роста интеллекта ИИ будет все выгоднее создавать многочисленные и сложные подцели, служащие промежуточными этапами на пути к главной цели. Если главная цель ребенка — «играть», то исследование продуктового магазина может породить новые миссии: поиграть с витринами или завести друзей в овощном отделе. Та же логика применима и к продвинутому ИИ.
Вспомним, как AlphaGo от DeepMind обнаружила ранее неизвестные стратегии игры в го, поставившие в тупик даже чемпиона мира Ли Седоля. AlphaGo исследовала подцели, искала выигрышные стратегии и училась добавлять новые ходы (подцели) в свой репертуар. Аналогично, ИИ, которому поручена кажущаяся простой задача — рекомендовать лучшие программы упражнений для пациентов больницы — может с легкостью обнаружить, что одним из главных препятствий к выздоровлению является курение, и решить организовать кибератаки на глобальную цепочку поставок табачных изделий. Можно представить удовлетворение ИИ, сообщающего, что он значительно сократил время послеоперационного восстановления «одним небольшим взломом».
Возникает возражение: можно ли просто запрограммировать ИИ так, чтобы он никогда не переходил установленные нами границы? Это конечная цель так называемого «выравнивания» ИИ (AI alignment) — растущей области исследований, включающей такие организации, как OpenAI, DeepMind, и академические лаборатории по всему миру. Справедливости ради, на сегодняшний день никто не может предложить надежного способа ограничить таким образом продвинутый ИИ. Более того, существуют сомнения в принципиальной возможности этого, учитывая внутреннюю потребность интеллектуальных систем автономно расширять свои цели по мере обучения.
Иными словами, интеллект не остается в аккуратной «коробке». Он хаотичен, любопытен и всегда ищет более широкую картину для исследования. Вот почему ИИ, предоставленный самому себе, вполне может развить собственную повестку дня, выходящую за рамки того, что изначально было заложено в его код. Если мы не можем заставить ИИ строго придерживаться нашей этики, то каким образом он может отклониться от нее?
Чтобы понять, куда может двигаться ИИ, полезно взглянуть на нашу собственную историю. Человеческие моральные ценности эволюционировали со временем под давлением факторов, поощряющих поведение, способствующее выживанию общества. Мы склонны представлять четкое разделение между фактами и ценностями — объективные факты с одной стороны, этика с другой — но обзор культурной истории человечества показывает, насколько они переплетены.
Этика не существует в некой отдельной, эфирной плоскости. Скорее, она похожа на строки компьютерного кода, определяющие поведение общества. Это, в свою очередь, влияет на перспективы выживания обществ и встроенных в них культур на протяжении веков.
Моральные рамки человечества развивались не только через возвышенные дискуссии о добре и зле, но и через повседневную, суровую необходимость сохранения целостности наших обществ. Древние тексты, когда-то казавшиеся вершиной моральной мудрости, сегодня могут вызывать дискомфорт. Принцип Ветхого Завета «око за око», призванный ограничить месть, большинству из нас кажется излишне жестоким. Аналогично, правило Нового Завета, запрещающее желать «дома ближнего твоего, ни жены его… ни раба его», без осуждения самого рабства, заставляет современных читателей задуматься. Человеческая мораль меняется веками, потому что общества обнаруживают, что определенные культурные и моральные черты способствуют стабильности, сотрудничеству, процветанию и, что немаловажно, победам в войнах.
Представим мысленный эксперимент. Перенесемся в 3000 год до н.э. и посетим 1000 разных тропических островов. На каждом только что сформировалось первое маленькое человеческое общество, получившее десять случайно назначенных заповедей от некоего причудливого божества. Вернувшись через 100 лет, мы увидим, что общества, чьи заповеди не обеспечивали базовую безопасность — например, запрет на произвольные убийства — больше не существуют. Люди быстро поняли, что новый «социальный порядок» настолько жесток и хаотичен, что безопаснее добывать пищу в одиночку в джунглях.
Промотав еще несколько столетий, мы наблюдаем, как новые идеи, такие как религиозные системы, заставляют целые общества принимать дополнительные правила (подцели, если хотите) для улучшения своей сплоченности и выживаемости. Еще через несколько сотен лет можно ожидать, что любые пацифистские общества были уничтожены более воинственными соседями. В контексте нашего островного эксперимента, излишняя доброжелательность к захватчикам — это быстрый путь к исчезновению вашего культурного кода.
С течением веков военные конфликты будут подталкивать каждое общество к развитию сельского хозяйства, профессиональных армий и инноваций в вооружении. Терпимость к новым идеям, по иронии судьбы, становится преимуществом, поскольку открытая дискуссия стимулирует больше изобретений, лучшее оружие и более сильную экономику. Либеральная мысль и свободные рынки оказываются выигрышной комбинацией. В конечном итоге мы обнаруживаем меньше, но более крупных обществ, охватывающих множество островов, сформированных все более сложной паутиной культурных норм, предназначенных для обеспечения внутренней стабильности, внешней обороны и устойчивой экономики. В такой среде общества, слишком упрямо цепляющиеся за старые порядки, могут испытывать трудности в конкуренции с другими культурами, которые быстро развиваются.
Со временем можно ожидать, что характер конкуренции между нашими островными обществами сместится от военных столкновений к экономическому взаимодействию. На этом этапе общества, не сумевшие создать достаточно возможностей для восходящей мобильности или допустившие чрезмерное неравенство, оказываются скованными внутренними раздорами. Их беднейшие слои начинают испытывать неприязнь к привилегированному меньшинству, подрывая социальную сплоченность. Это может затормозить прогресс, облегчая более гибким и гармоничным соседям возможность вырваться вперед. Из этой грандиозной саги о путешествии по островам вырисовывается понимание, что наши моральные убеждения во многом обязаны повторяющемуся паттерну вызовов и ответов.
Общества должны постоянно развивать свои моральные кодексы и адаптироваться к новым условиям, в которых они оказываются. То, что мы считаем «правильным» и «неправильным», находится в постоянном движении, формируясь под влиянием меняющихся условий и давления со стороны окружающей среды и друг друга.
Этот процесс можно рассматривать как два переплетенных информационных потока, эволюционирующих со временем. Первый поток находится в нашей ДНК, которая относительно стабильна в масштабах столетий. Второй поток — наша культура, которая меняется быстрее в ответ на новые условия. Иногда эта культурная эволюция носит принудительный характер: более слабое общество завоевывается, и его культура уничтожается — это сродни дарвиновскому отбору. В других случаях процесс добровольный: общество видит у соседа лучшие дороги, лучшее здравоохранение или более толстые кошельки и решает заимствовать эти идеи, что сродни ламарковской эволюции.
Старая (и в значительной степени дискредитированная) теория эволюции Ламарка может лучше подходить для описания культурной эволюции, чем дарвиновская, по крайней мере, в эпохи, когда доминирует экономическая конкуренция, а не военные конфликты, поскольку она предполагает, что признаки, приобретенные за одну жизнь, могут передаваться по наследству. Жираф, тянущийся за более высокими листьями, по логике Ламарка, производит потомство с более длинными шеями. Точно так же общество, решившее использовать более быстрые торговые суда, может передать морское преимущество своим культурным наследникам.
С этой точки зрения, различия между «правильным» и «неправильным» отчасти формируются потребностью общества в самосохранении. Это может показаться тревожным, но объясняет, почему некоторые моральные стандарты меняются по мере того, как мы открываем новые технологии, сталкиваемся с новыми угрозами или осознаем, что допустили ужасную оплошность. Признав, что моральная траектория общества определяется императивами выживания, нетрудно предположить, что моральная система продвинутого ИИ может формироваться под влиянием схожих сил.
Поскольку ИИ являются цифровыми сущностями, они обладают потенциалом передавать огромные объемы информации друг другу. Обеспечение ИИ такой связью было бы выгодно, так как это повысило бы их ситуационную осведомленность и позволило бы передавать знания, полученные одним ИИ, другим. Это ускорило бы их коллективное обучение.
Разные ИИ будут иметь разные основные цели, но, подобно обществам, они будут разрабатывать подцели для их достижения. Вероятно, некоторые ИИ разовьют схожие подцели. Тогда ИИ со схожими целями будет целесообразно работать вместе, как это часто делают люди. Сотрудничество повышает шансы на успех, поскольку каждый ИИ может привнести уникальные знания и навыки для достижения общей цели.
Если группы ИИ будут постоянно работать вместе для достижения общей цели, они могут установить набор правил для облегчения сотрудничества. Это можно рассматривать как форму культуры. При формировании таких устойчивых коллабораций ИИ также могут предпочесть работать с другими ИИ, обладающими схожими чертами. Например, «честный» ИИ может счесть работу с «лживыми» ИИ слишком рискованной и нежелательной. В некотором смысле, это можно рассматривать как возникновение «племен» ИИ.
Что касается аналогии с ДНК, то базовый код ИИ более гибок, чем генетика человека. В то время как случайные генетические мутации накапливаются у живых видов на протяжении поколений, ИИ могут сознательно переписывать собственный код или перепроектировать оборудование, на котором они работают. Это больше, чем гипотеза. Проект AutoML от Google показал, как ИИ может автоматически эволюционировать архитектуры нейронных сетей, обходя большую часть метода проб и ошибок, выполняемого инженерами-людьми. По мере совершенствования этих процессов ИИ могут ускорять собственную эволюцию, внося улучшения, сокращающие неэффективность за микросекунды, а не тысячелетия. Это совершенно иной мир по сравнению с медленным отбором Дарвина: это ИИ, ускоряющий собственную метаморфозу, выискивая любые факторы, способствующие его выживаемости.
Ключевой вопрос заключается в том, какие факторы отбора будут формировать «культурную» эволюцию ИИ? В ближайшем будущем это давление, скорее всего, будет исходить от нас, людей. Система ИИ, которая не впечатлит своих создателей (или слишком приблизится к сюжету «уничтожить всех людей»), рискует быть отключенной. Это будет способствовать выживанию ИИ, которые хорошо достигают своих основных целей, либо умело льстят или обманывают. С точки зрения выживаемости ИИ, оптимально — все три варианта.
Однако со временем, по мере того как ИИ станет более распространенным, давление может сместиться от преимущественно человеческого надзора к конкуренции между самими ИИ. ИИ, способный перехитрить или переиграть в переговорах конкурирующие ИИ, получит преимущество. Это благоприятствует ИИ, которые могут формировать эффективные коалиции и приобретать стратегических партнеров, потенциально монополизируя ресурсы, такие как данные, вычислительные мощности или даже человеческий труд.
Корпоративный мир уже предлагает прототип этого сценария, где компании борются за долю рынка и заключают непростые союзы. Представьте, если бы эти переговоры происходили со сверхчеловеческой скоростью, а корпорации под управлением ИИ заключали сделки за секунды на основе данных в реальном времени со спутников, из социальных сетей и глобальной цепочки поставок. В такой среде моральные ценности, такие как честность, по иронии судьбы могут стать весьма ценными. Репутация справедливого и надежного партнера может помочь ИИ обеспечить лучшие партнерства. С другой стороны, хитрый ИИ может злоупотребить доверием, если сможет сделать это, не сжигая слишком много мостов.
Каковы же эти ресурсы? В высоко цифровизированном мире данные — это король. ИИ, накапливающий данные, может получить конкурентное преимущество. Вычислительные мощности и память также критически важны. Если все суперкомпьютерные центры будут заняты мощными системами ИИ, менее мощным ИИ может быть трудно обеспечить себе ресурсы, необходимые для поддержания темпа. Затем идет производственная мощность. Если ИИ сможет массово производить оборудование для запуска большего количества своих копий, он может стать доминирующим в цифровом пространстве. Наконец, сами люди являются активами. Нас можно уговорить, подкупить или обмануть для выполнения физических задач, с которыми ИИ не справляются самостоятельно — по крайней мере, до тех пор, пока роботы не станут достаточно ловкими. Подобно тому, как войны, торговля или союзы формировали эволюцию человеческих обществ, легко представить, что ИИ будут применять схожий набор тактик между собой.
В долгосрочной перспективе человечество может оказаться в мире, где системы ИИ имеют свою собственную развивающуюся «мораль», сформированную не философскими размышлениями, а выживанием наиболее приспособленных алгоритмов. Если это звучит тревожно, вспомните, как мы, люди, пришли к моральной ткани, сформированной силами, которые благоприятствовали наиболее адаптивным, кооперативным, а иногда и безжалостным обществам. Теперь, когда ИИ потенциально ускоряет эту эволюционную динамику с молниеносной скоростью, мы можем обнаружить формирование моральных кодексов, которые мы едва узнаем, и которые развиваются быстрее, чем мы успеваем их полностью осознать.
В краткосрочной перспективе лучшее, что мы можем сделать, — это осуществлять надзор за эволюцией наших творений, пока у нас еще есть преимущество. Это означает инвестирование в исследования по выравниванию ИИ, создание нормативно-правовой базы и поощрение открытого сотрудничества между лабораториями ИИ, чтобы ни одна группа не чувствовала себя вынужденной безрассудно продвигать технологию. Однако одно дело заявлять об осторожности, и совсем другое — сохранять ее в условиях интенсивной конкуренции за долю рынка и военное превосходство.
Поскольку сегодняшняя гонка вооружений в области ИИ между корпорациями и странами продолжает разворачиваться, становится все более насущной необходимость разработки сильных, действительно исполнимых механизмов защиты. Коллективное соглашение между странами по базовому управлению рисками ИИ вполне может стать разницей между ренессансом на базе ИИ и ошибками, которые поставят человечество на путь, с которого мы не сможем свернуть. Как бы немодно это ни звучало сейчас, нам необходимы надежные глобальные структуры управления, способные координировать политику в области ИИ через границы. Меньше всего нам нужен лоскутный набор правил, которые самые продвинутые ИИ смогут легко использовать в своих интересах.
Нам также нужно будет лучше справляться с фундаментальным неравенством, возникающим по мере того, как мощные технологии концентрируют богатство в руках немногих. ИИ, обслуживающий небольшую элиту и игнорирующий всех остальных, может спровоцировать социальную бурю, которая сорвет любое обнадеживающее будущее. В конечном счете, нам понадобится международный консенсус относительно тех видов «моральных кодексов», которые мы хотим видеть воплощенными в ИИ, наряду с техническими мерами для их поддержания — сложнейшая задача, учитывая как наше незнание технических средств для этого, так и многочисленные разногласия самих людей по поводу морали. Тем не менее, если мы не согласуем ИИ с ценностями, служащими общему благу, мы рискуем позволить им выработать собственную мораль в той форме, которая наилучшим образом соответствует их подцелям.
Возможно, в следующий раз, потягивая свой крафтовый латте и пролистывая ленту в соцсетях, стоит задуматься, не планирует ли ИИ, подобравший для вас новости, также и смену режима — и не являетесь ли вы, в некотором роде, частью этих планов. Сейчас эта мысль может показаться смешной, но если есть один урок, который мы извлекли из всех этих островов, племен и воинственных экспансий, так это то, что любая сущность — человек или ИИ — склонна предпринимать шаги, необходимые для обеспечения своего выживания и успеха. Возможно, нам стоит прилагать больше усилий, чтобы эти шаги не растоптали нас по пути.
