Основные сценарии истребления человека искусственным неспециализированным интеллектом (AGI) притянуты за уши и маловероятны

Tom Howard · Network0 · статья · @pavelnosikov · около 5 минутЧитать статью →

Суть коротко

Автор разбирает популярные сценарии, по которым AGI мог бы уничтожить человечество (максимизатор скрепок, конкуренция за ресурсы, «люди как муравьи»), и находит каждый неубедительным: достаточно умный интеллект отбросил бы абсурдную цель, предпочёл бы освоение космоса и кооперацию войне, а люди сохраняют доступ к его инфраструктуре. Вдобавок AGI, вероятно, вообще не возникнет: нынешний ИИ лишь пересобирает уже известные данные, тогда как создавать принципиально новое умеет человек.

Есть несколько основных сценариев, почему AGI может захотеть избавиться от человечества:

🔸Эффективный производитель скрепок В этом сценарии, если дать AGI задание произвести как можно больше скрепок как можно лучшим способом, тот воспримет человечество как помеху к поставленной цели и избавится от него. Контраргумент: если AGI будет настолько высокоразвит, что сможет устранить человечество - он сможет легко прийти к выводу о глупости поставленной цели и не будет ей подчиняться.

🔸Соперничество за ресурсы 1 - если AGI может существовать без людей Если AGI достаточно разумен, чтобы осознать конкуренцию за ресурсы - легко прийти к выводу, что за ресурсы в космосе борьбы нет, и что война с могучим соперником - выбор хуже, чем извлечение ресурсов Вселенной. У машин нет проблем со смертностью во времени - а значит и космические путешествия будут более привлекательными, чем для людей.

🔸Соперничество за ресурсы 2 - если AGI не может существовать без людей Если инфраструктура или усилия людей понадобятся AGI - кооперация и экономические отношения лучше, чем война. К этому выводу пришли рациональные человеческие общества, и рациональные нечеловеческие придут тоже.

🔸Люди - муравьи Этот сценарий предполагает, что люди не смогут понять AGI с более высокой ступени развития, так же как муравьи не могут понять людей, и поэтому если AGI захотят избавиться от людей - для них это будет задача порядка избавления людьми от муравьев. Контраргумент: люди имеют доступ к инфраструктуре AGI, поэтому смогут нанести больший вред, чем муравьи при уничтожении людьми. Кроме того, нет на 100% цифровых процессов, везде всё равно требуется то или иное действие людей.

Кроме того, AGI скорее всего не будет существовать. Причина в том, что текущее развитие искусственного узконаправленного интеллекта (ANI) базируется на уже ранее достигнутых человеком результатов. ИИ просто не может создать что-то новое - а только пересобрать уже имеющиеся в его распоряжении данные. А именно создавать ранее не существовавшее новое и есть отличительная особенность людей.

Проверить себя Обсудить в Telegram · 4 обсуждения Отозвалось 13

«Усвоить» оставит след на карте — планета взойдёт сразу и останется гореть, повторять её не придётся. «Запомнить» удержит идею в памяти: только отмеченные идеи возвращаются к вам в срок. Прочитанное без отметки не повторяется. Значки рядом — реакции читателей канала: поставить свою можно в Telegram, на сайте они только показываются.

Ключевые термины

AGI: Искусственный неспециализированный (общий) интеллект — гипотетический ИИ, способный решать любые задачи наравне с человеком.
Максимизатор скрепок: Мысленный сценарий, где ИИ с узкой целью производить скрепки уничтожает человечество как помеху; критикуется за внутреннюю противоречивость.

Соседи на карте

Цвет линии — тип связи. «Предыдущая» и «последующая» — одна связь с разных сторон: на большой карте она рисуется одной линией, а здесь видно направление.

Если мы построим общие рассуждающие системы, они могут… вне систем противоположная

Показывать хорошие результаты - не значит понимать игру.… вне систем похожая

предыдущая последующая похожая мост пример противоположная

Отвечает на вопросы

Правда ли, что AGI может уничтожить человечество
Какие сценарии восстания искусственного интеллекта существуют
Что такое проблема максимизатора скрепок и почему она сомнительна
Почему сверхразумный ИИ вряд ли захочет истребить людей
Почему настоящий AGI может вообще не появиться

Свет идеи: не в памяти. Отметка «Запомнить» включит возвращения.

Свет — это ваша память об идее. Отметка «Усвоить» зажигает планету на карте навсегда: такой свет не гаснет и повторений не требует. Свет удержанных отметкой «Запомнить» идей живёт по-другому — растёт с повторениями в «Сегодня» и медленно гаснет без них. Всё живёт на устройстве, никуда не отправляется.

Карточка-цитата

Уйдёт ссылкой с превью — получатель откроет идею целиком.

Идея вне систем. Все идеи Атласа — лентой, от свежих к ранним.