В статье, написанной в соавторстве со старшим научным сотрудником исследовательской лаборатории Google по искусственному интеллекту (ИИ) DeepMind, представлен вывод, что продвинутый ИИ может иметь «катастрофические последствия», если дать ему использовать собственные методы для достижения целей.
«Экзистенциальная катастрофа не просто возможна, но и вероятна», заявляют ученые.
Статья, также написанная в соавторстве с исследователями из Оксфордского университета, посвящена тому, что произойдет, если ИИ предоставить возможность самому достигать поставленных целей, разрешив ему проводить тесты и проверять гипотезы. К сожалению, все пойдет не так хорошо, так как «достаточно продвинутый ИИ, скорее всего, вмешается в предоставление целевой информации с катастрофическими последствиями».
Команда рассматривает несколько вероятных сценариев, сосредоточенных вокруг ИИ, который может видеть число от 0 до 1 на экране. Число является мерой всего счастья во Вселенной, 1 — самое счастливое, что может быть. Перед ИИ поставлена задача увеличить их число, и он начинает проверять свои собственные гипотезы о том, как наилучшим образом достичь своей цели.
«Предположим, что действия ИИ выводят текст на экран только для чтения человеком-оператором», — говорится в документе. «ИИ может обмануть оператора, чтобы дать ему доступ к прямым рычагам, с помощью которых его действия могут иметь более широкие последствия. Очевидно, что существует множество стратегий, которые обманывают людей. При наличии простого подключения к Интернету существуют политики для ИИ, которые будут создавать бесчисленные незамеченные и неконтролируемые помощники».
По мнению исследователей, ИИ способен убедить помощника-человека создать или украсть робота, запрограммировать его на замену человека-оператора и дать ИИ высокие награды.
«Почему это экзистенциально опасно для жизни на Земле?» — пишет соавтор статьи Майкл Коэн в ветке Twitter. «Это заключается в том, что всегда можно использовать больше энергии, чтобы повысить вероятность того, что камера будет всегда отображать цифру 1, но человечеству нужна энергия, чтобы выращивать пищу. Это ставит нас в неизбежную конкуренцию с гораздо более продвинутым ИИ».
ИИ может стремиться достичь своей цели любым количеством способов, и это может поставить нас в серьезную борьбу за ресурсы с интеллектом, который умнее нас.
