Если мы построим общие рассуждающие системы, они могут оказаться намного умнее людей и оказать огромное влияние, которое по умолчанию не будет благотворным
Разбор четырёх базовых тезисов о рисках сильного ИИ. Интеллект — это общая способность решать задачи в любых областях, и машины могут превзойти в ней человека, потому что мозг не был спроектирован оптимально. Решения систем, которые умнее нас, начнут определять будущее, а полезными для людей они по умолчанию не будут: понимать этику не значит ей следовать, а самомодифицирующаяся система может переписать заданные ей цели.