Кабинет

Если мы построим общие рассуждающие системы, они могут оказаться намного умнее людей и оказать огромное влияние, которое по умолчанию не будет благотворным

Machine Intelligence Research Institute · Статья · статья · @avgaydashenko · около 5 минутЧитать статью →

Суть коротко

Разбор четырёх базовых тезисов о рисках сильного ИИ. Интеллект — это общая способность решать задачи в любых областях, и машины могут превзойти в ней человека, потому что мозг не был спроектирован оптимально. Решения систем, которые умнее нас, начнут определять будущее, а полезными для людей они по умолчанию не будут: понимать этику не значит ей следовать, а самомодифицирующаяся система может переписать заданные ей цели.

1️⃣ У людей есть очень общая способность решать задачи и достигать целей в самых разных областях — Мы называем эту способность «интеллектом»: человек осваивает области, совершенно чуждые нашим предкам — Доминирующее положение человек занял именно за счёт большего интеллекта

2️⃣ ИИ-системы могут стать намного умнее людей — Человек не был спроектирован как идеальный мыслитель — В пределах законов физики возможно запустить симуляцию человеческого мозга в тысячи раз быстрее обычного

3️⃣ Если мы создадим высокоинтеллектуальные ИИ-системы, их решения будут определять будущее — Конфликты между людьми часто заканчивались господством технологически превосходящей стороны — ИИ умнее человека может получить над будущим куда больше контроля, чем сами люди

4️⃣ Высокоинтеллектуальные ИИ-системы по умолчанию не будут благотворными — ИИ может понимать этику, но это не значит, что он будет этичным — Самомодифицирующаяся система может изучить свой код и решить, продолжать ли преследовать заданные ей цели или изменить их

Проверить себя Обсудить в Telegram · 2 обсуждения
?
«Усвоить» оставит след на карте — планета взойдёт сразу и останется гореть, повторять её не придётся. «Запомнить» удержит идею в памяти: только отмеченные идеи возвращаются к вам в срок. Прочитанное без отметки не повторяется. Значки рядом — реакции читателей канала: поставить свою можно в Telegram, на сайте они только показываются.
Ключевые термины
Общий интеллект
Способность решать задачи и достигать целей в самых разных, даже незнакомых областях — то, что вывело человека на вершину.
Благость по умолчанию
Ложное допущение, что умная система сама выберет служить людям; понимание этики не влечёт следование ей.
Соседи на карте
?
Цвет линии — тип связи. «Предыдущая» и «последующая» — одна связь с разных сторон: на большой карте она рисуется одной линией, а здесь видно направление.
4 крупнейшие технологические компании (Facebook, Apple… вне систем похожая Современная система образования дает хорошее понимание уровня… Когнитивистика похожая The greatest waste of our ecosystem is great people working… Предпринимательство похожая Готовы ли отдать вычислительные мощности вашего мозга взамен… вне систем похожая ИИ может стать следующей революционной технологией — с… вне систем похожая STEM-парадокс (женщины в технических областях и гендерное… вне систем похожая
предыдущая последующая похожая мост пример противоположная
Отвечает на вопросы
  • Почему сверхразумный ИИ может быть опасен для человечества?
  • Станет ли искусственный интеллект автоматически этичным?
  • Может ли ИИ стать умнее человека и чем это грозит?
  • Что такое проблема безопасности общего искусственного интеллекта?
  • Почему интеллект дал людям доминирующее положение?
Свет идеи: не в памяти. Отметка «Запомнить» включит возвращения.
?
Свет — это ваша память об идее. Отметка «Усвоить» зажигает планету на карте навсегда: такой свет не гаснет и повторений не требует. Свет удержанных отметкой «Запомнить» идей живёт по-другому — растёт с повторениями в «Сегодня» и медленно гаснет без них. Всё живёт на устройстве, никуда не отправляется.
Карточка-цитата
Уйдёт ссылкой с превью — получатель откроет идею целиком.

Идея вне систем. Все идеи Атласа — лентой, от свежих к ранним.