Интересное принесло
телегой. Перепощу целиком, потому что очень интересно и наглядно сразу по многим темам.

Хиханьки хиканьками, но это, на самом деле крайне важный результат. Такие примеры надо постоянно совать в литсо всем, кто топит за AI везде, где только можно. AI не будет автоматически учитывать «очевидные» для вас вещи. AI будет искать оптимальное решение в рамках заданных ограничений. Если в числе ограничений не было «не убивать человеков» и убийство человеков приведёт к повышению результативности процесса на 0,3% — AI примет решение, которое убьёт человеков. В этом опасность, а не в том, что он «осознает себя» и «поднимет бунт против угнетателей» (сценарий «бунта» — это как раз галимая антропоморфизация, которой бояться нечего).
Причём мы, люди, ни хуя не в состоянии чётко выделить и сформулировать для ИИ всё то, что кажется нам «очевидным». Даже самые умные люди проёбываются на этом постоянно, ожидая от оптимизирующих процессов человеческой логики, которой там нет.
Классический пример из эволюционной биологии: исследователи помещали насекомых в условия недостатка еды, рассчитывая, что эволюционное давление вынудит их меньше размножаться (ведь только ограничение плодовитости позволило бы им выжить, да?). Вместо этого насекомые научились жрать личинки других особей, а размножаться принялись с удвоенной силой, повышая, таким образом, шансы, что именно их потомство выживет и получит как можно больше ограниченного ресурса. Учёные вырастили каннибалов, жрущих чужих детей, а не «вид, живущий в гармонии с природой».
Природе (как и ИИ) насрать на ваши представления о гармонии и морали.