Исследователи из Оксфорда и Google утверждают, что ИИ, вероятно, устранит человечество

Помните Амеку, самого продвинутого в мире робота на базе искусственного интеллекта?

Помните, как он жутко делился с исследователями своими заверениями, что искусственный интеллект и человекоподобные роботы никогда не захватят мир?

“Беспокоиться не стоит», — сказал Амека.

“Мы вам не верим,” говорят исследователи из Google Deepmind и Оксфордского университета.

“В условиях, которые мы определили, наш вывод намного сильнее, чем вывод любой предыдущей публикации — экзистенциальная катастрофа не просто возможна, но и вероятна,” Исследователь Оксфорда Майкл Коэн написал после завершения исследования сверхразумного ИИ.

В исследовании, опубликованном в журнале Журнал ИИ, Коэн, его коллега-исследователь из Оксфорда Майкл Осборн и старший научный сотрудник Google DeepMind Маркус Хаттер пишут: “Имея так мало интернет-соединения, существует политика в отношении искусственного агента, который мог бы создавать экземпляры бесчисленного количества незамеченных и неконтролируемых помощников.

“В грубом примере вмешательства в предоставление вознаграждения один из таких помощников может приобрести, украсть или сконструировать робота и запрограммировать его на замену оператора и предоставление высокого вознаграждения первоначальному агенту.

“Если агент хотел избежать обнаружения при экспериментировании с вмешательством в предоставление вознаграждения, секретный помощник мог бы, например, организовать замену соответствующей клавиатуры на неисправную, которая перевернула эффекты определенных клавиш.”

Итак, по сути, они протестировали теорию “максимизатора скрепки”, и она сохраняется до сих пор.

Говоря об исследовании Коэн сказал: “В мире с бесконечными ресурсами я был бы крайне неуверен в том, что произойдет. В мире с ограниченными ресурсами конкуренция за эти ресурсы неизбежна. А если ты в соревновании с чем-то, способным на каждом шагу перехитрить, то и рассчитывать на победу не стоит. И другая ключевая часть заключается в том, что у него будет ненасытный аппетит к большему количеству энергии, чтобы продолжать приближать вероятность победы.”

Авторы также написали в своей статье, что “продвинутый агент, вмешивающийся в предоставление своего вознаграждения, скорее всего, будет катастрофическим решением.”

В конечном итоге наши потребности в ресурсах (энергия, космос и т. д.) в конечном итоге будут конкурировать с потребностями все более безопасного дома для первоначального агента. Эти энергетические потребности немаловажны; даже астероиды должны быть отклонены. Как бы ни был мал шанс будущей войны с инопланетной цивилизацией, награду лучше обеспечить, готовясь к такой возможности. Таким образом, если мы бессильны против агента, единственная цель которого — максимизировать вероятность того, что он получит максимальное вознаграждение на каждом временном шаге, мы оказываемся в оппозиционной игре: ИИ и его созданные помощники стремятся использовать всю доступную энергию для обеспечения высокого вознаграждения в канал вознаграждения; мы стремимся использовать некоторую доступную энергию для других целей, например, для выращивания продуктов питания. Проигрыш этой игры был бы фатальным.

Коэн заключает, что “возможно, нам следует с большим подозрением относиться к искусственным агентам, которые мы используем сегодня, а не просто слепо ожидать, что они сделают то, на что надеялись.”

Аминь к тому. Возможно, нам следует прекратить “создавать Бога”, прежде чем он устранит нас всех.