Философское

[fonzeppelin]

Представьте солдата в окопе на поле боя. Он напуган. Он истощен бессонными ночами, отсутствием самого минимального комфорта и непрерывной опасностью. Его чувства притуплены постоянным страхом за свою жизнь, и жизни товарищей. Вполне вероятно, он ранен и мучается от боли. Он ненавидит врага постоянной, слепой и нерассуждающей ненавистью. Он, вполне возможно, не слишком хорошо образован, и видит конфликт только как его показывает пропаганда: «мы — хорошие, а они — плохие». Он усвоил на собственном опыте, что война, это очень во многом «убей или тебя убьют». Он, скорее всего, молод — вчерашний подросток с нестабильной, разбалансированной гормональными бурями психикой. На него постоянно давят приказы и распоряжения командиров, смысл которых ему далеко не всегда очевиден — очень часто ему кажется, что эти приказы не имеют никакого отношения к реальности. И иногда он в этом прав.

И каким же образом этот солдат сумеет принимать более беспристрастные, точные и моральные решения на поле боя, чем робот?

Справа - бездушная, аморальная машина смерти, слева - высокоинтеллектуальный, душевный индивидуум, всегда принимающий исключительно правильные, морально безупречные решения в любой обстановке. Не перепутайте.

Мое личное ИМХО — все эти идеи, что «решение о применении оружия должно обязательно оставаться за людьми» и «машины не должны сами принимать смертельное решение», строятся на совершенно абсурдной идеализации человека, и демонизации машины. Сформированной замшелой фантастикой 50-ых, когда представление о роботах и компьютерах было самым наивным и сводилось к «железный человек с блестящими интеллектуальными способностями но априори аморальный». Даже если опустить сомнительный вопрос о моральности войны как таковой, эти взгляды явно исходят из совершенно анахроничных представлений о роботе как непременно самоосознающей, способной к формированию собственного представления о мире машине. 

Такая позиция имела определенный смысл в 1950-1960-ых — когда ввиду чисто технических ограничений, полностью автоматизированными могли быть лишь системы стратегического значения. То есть те, для которых «цена ошибки» была априори неприемлемо велика — и которые, как правило, управлялись высококвалифицированным персоналом, находящимся в существенно более безопасной позиции. Однако, к 2020-ым ситуация переменилась и изрядно. Вопрос «о праве робота на убийство» сейчас уже сводится не к «запуску атомных ракет по ложной тревоге» а к «выстрелу с дрона по подозрительной цели».

Суммируя плюсы и минусы:

+ Робот озабочен собственной безопасностью лишь в той мере, в которой это практично для выполнения боевого задания. Робот не испытывает никаких принципиальных проблем с тем, чтобы высунуться из укрытия для точной идентификации цели или сознательно подставиться под первый выстрел возможного противника. Для живого солдата, это неприемлемо. Для робота — это лишь вопрос «будет ли это эффективно решать проблему».

+ Робот не испытывает эмоциональной нагрузки, не беспокоится за товарищей, не устает и не испытывает ненависти к противнику. Робот совершенно точно не будет принимать решение в стиле «расстрелять в отместку».

+ Робот всегда будет скрупулезен в следовании всем протоколам и алгоритмам применения оружия. Он не начнет стрелять по неудачно высунувшимся гражданским потому, что «да ясно же, что с той стороны только враг!»

— Робот может «тупить» необъяснимо для человека. Имеется в виду, что самообучающиеся программы в ходе, собственно, самообучения, могут временами приходить к совершенно парадоксальным (с человеческой точки зрения) выводам и решениям, слабо коррелирующим с реальностью.

— Робот может быть более уязвим в том плане, что его скрупулезное следование протоколам позволяет противнику — предполагая, что тот знает об этих протоколах — найти способы эффективно обмануть робота на «формальностях». Живые солдаты менее восприимчивы к такого рода обманам ввиду наличия эмоциональных реакций (т.е. подозрительности). 

Comments

[john-jack.livejournal.com]

Есть в этом что-то религиозно-фэнтезийное. Типа, "думать" могут только одушевлённые существа, значит в любом "думающем" существе обязательно заводится душа. И если бога нет значит всё позволено в это существо не заложили "мораль", оно получится аморальным, а значит злым и непременно активно злым. Под такой техноанимизм пресловутый сороковник хотя бы подводит обоснование в виде определённо других законов мироздания, но до пародирования ещё надо было дойти, посмотрев на реальный прогресс и придумав альтернативы. Азимовские "позитронные мозги" тоже "одушевлённые", но там хотя бы полноценный интеллект человеческого уровня с самосознанием и работа на магии, а не ардуине.

Чего ещё ждать от людей, которым самовольные (и недовольные) рабы/каторжники/пролетарии были ближе, чем простые очень сложные машины.

[fonzeppelin.livejournal.com]

У меня такое ощущение, что в то время фантастика еще не особенно игралась с идеей чуждого разума - т.е. не пыталась рассматривать ситуации с не-человеческим мышлением и логикой как таковые. Отсюда и Азимовская ситуация, когда автономные роботы со сложнейшими алгоритмами поведения - обыденность, но вот научить их говорить - это проблема)

[john-jack.livejournal.com]

И это да. Врождённый антропоцентризм и (пока) отсутствие поводов к его пересмотру. Ну нет и никогда раньше не было на сраной земляшке других интеллектов, отличных от человеческого. Животные и машины много тупее, фантастические боги или те же люди, или заявлены принципиально непознаваемыми. Самое "чужое" это дети и иностранцы. Даже на других планетах.