Философское

[fonzeppelin]

Представьте солдата в окопе на поле боя. Он напуган. Он истощен бессонными ночами, отсутствием самого минимального комфорта и непрерывной опасностью. Его чувства притуплены постоянным страхом за свою жизнь, и жизни товарищей. Вполне вероятно, он ранен и мучается от боли. Он ненавидит врага постоянной, слепой и нерассуждающей ненавистью. Он, вполне возможно, не слишком хорошо образован, и видит конфликт только как его показывает пропаганда: «мы — хорошие, а они — плохие». Он усвоил на собственном опыте, что война, это очень во многом «убей или тебя убьют». Он, скорее всего, молод — вчерашний подросток с нестабильной, разбалансированной гормональными бурями психикой. На него постоянно давят приказы и распоряжения командиров, смысл которых ему далеко не всегда очевиден — очень часто ему кажется, что эти приказы не имеют никакого отношения к реальности. И иногда он в этом прав.

И каким же образом этот солдат сумеет принимать более беспристрастные, точные и моральные решения на поле боя, чем робот?

Справа - бездушная, аморальная машина смерти, слева - высокоинтеллектуальный, душевный индивидуум, всегда принимающий исключительно правильные, морально безупречные решения в любой обстановке. Не перепутайте.

Мое личное ИМХО — все эти идеи, что «решение о применении оружия должно обязательно оставаться за людьми» и «машины не должны сами принимать смертельное решение», строятся на совершенно абсурдной идеализации человека, и демонизации машины. Сформированной замшелой фантастикой 50-ых, когда представление о роботах и компьютерах было самым наивным и сводилось к «железный человек с блестящими интеллектуальными способностями но априори аморальный». Даже если опустить сомнительный вопрос о моральности войны как таковой, эти взгляды явно исходят из совершенно анахроничных представлений о роботе как непременно самоосознающей, способной к формированию собственного представления о мире машине. 

Такая позиция имела определенный смысл в 1950-1960-ых — когда ввиду чисто технических ограничений, полностью автоматизированными могли быть лишь системы стратегического значения. То есть те, для которых «цена ошибки» была априори неприемлемо велика — и которые, как правило, управлялись высококвалифицированным персоналом, находящимся в существенно более безопасной позиции. Однако, к 2020-ым ситуация переменилась и изрядно. Вопрос «о праве робота на убийство» сейчас уже сводится не к «запуску атомных ракет по ложной тревоге» а к «выстрелу с дрона по подозрительной цели».

Суммируя плюсы и минусы:

+ Робот озабочен собственной безопасностью лишь в той мере, в которой это практично для выполнения боевого задания. Робот не испытывает никаких принципиальных проблем с тем, чтобы высунуться из укрытия для точной идентификации цели или сознательно подставиться под первый выстрел возможного противника. Для живого солдата, это неприемлемо. Для робота — это лишь вопрос «будет ли это эффективно решать проблему».

+ Робот не испытывает эмоциональной нагрузки, не беспокоится за товарищей, не устает и не испытывает ненависти к противнику. Робот совершенно точно не будет принимать решение в стиле «расстрелять в отместку».

+ Робот всегда будет скрупулезен в следовании всем протоколам и алгоритмам применения оружия. Он не начнет стрелять по неудачно высунувшимся гражданским потому, что «да ясно же, что с той стороны только враг!»

— Робот может «тупить» необъяснимо для человека. Имеется в виду, что самообучающиеся программы в ходе, собственно, самообучения, могут временами приходить к совершенно парадоксальным (с человеческой точки зрения) выводам и решениям, слабо коррелирующим с реальностью.

— Робот может быть более уязвим в том плане, что его скрупулезное следование протоколам позволяет противнику — предполагая, что тот знает об этих протоколах — найти способы эффективно обмануть робота на «формальностях». Живые солдаты менее восприимчивы к такого рода обманам ввиду наличия эмоциональных реакций (т.е. подозрительности). 

Comments

[eugene-gu.livejournal.com]

Да, случаи бывают разные и критериев их оценки бывает ещё больше. Поэтому любой вывод имеет основания хоть в чём-то быть верным. Как и этот пост с комментариями :)

Тем не менее имеем как факт, что мозг человека - это результат проб и ошибок сотен миллионов лет эволюции. На создание и отладку, пусть даже куда более целенаправленную, "мозга" робота пока было уделено неизмеримо меньше времени, чтоб подобрать не то что более оптимальное, но хотя бы достаточно адекватное поведение в ответ на внешние сигналы. Поэтому моё личное отношение к теме - скорее осторожный скепсис, с прогнозом на улучшение :)

По работе я имею дело с косяками персонала и багами кода/алгоритмов. И я вижу, что совершать ошибки той же очевидности, совершаемые программой, человек мог бы только в состоянии тяжелого психического заболевания, усиленного алкогольной интоксикацией. Уж больно несуразно поступать так неадекватно только потому, что кодом это не предусмотрено или не совсем верно прописано.

[john-jack.livejournal.com]

Мозг человека отлажен немного совсем для других целей, задам солдата на войне примерно противоположным. Отладить робота же достаточно один раз, исправив ошибку, дальше решение копируется. Человека в солдата надо ломать каждого, с сомнительным успехом, ибо оно состоит во вбивании в голову излишне конкретных ошибок.

[eugene-gu.livejournal.com]

Человек, а до него высшие приматы, а до них аж муравьи вполне себе воюют, часто очень организованно.
Сотни миллионов лет. Но мозг всю дорогу отлажен немного совсем для другого :))

>Отладить робота же достаточно один раз, исправив ошибку
---
Миллионы девелоперов и тестеров по всей планете: "А чё, так можно было что ли?" :)))

[john-jack.livejournal.com]

Это "воюют" чуточку не совсем то, чего мы хотим от "правильной" войны. Убил и съел слабого, сбежал от сильного. Мозг отлажен чтобы выживать, ограблять и получать удовольствие, и всё это ведёт к ожирению определённо незаконно.

А что, в каждой копии одной программы ошибку надо искать заново и придумыват отдельное решение? Это у людей мозги все разные, и прямого доступа к коду нет.

[waryag72.livejournal.com]

Мне кажется, что работающие с людьми имеют на этот счёт другое мнение )

[eugene-gu.livejournal.com]

Довольно продолжительная работа с людьми научила меня не удивляться, что вы исключили меня из множества "работающие с людьми" даже несмотря на "По работе я имею дело с косяками персонала" в моём комментарии. ;)