Угрозы искусственного интеллекта и естественного идиота

[fonzeppelin]

Сегодняшним утром интернет потрясло леденящее душу сообщение. На проходившем в Лондоне саммите «Future Combat Air and Space Capabilities» (англ. «Аэрокосмические боевые возможности в будущем»), полковник ВВС США Такер Гамильтон сделал страшное заявление: дрон с искусственным интеллектом убил своего оператора ради максимизации формального результата.

Правда, в симуляции. Но это никого особенно не утешило, потому как полковник Гамильтон является главой отдела разработки и испытаний искусственного интеллекта в USAF, и его слово имеет значительный вес. 

Итак, что же случилось по словам полковника.

Во время симуляции боевых действий, виртуальный дрон, управляемый самообучающейся программой, должен был выполнять различные задачи под наблюдением оператора. При этом ИскИнсамостоятельно решал, как ему выполнять задачу — оператор только подтверждал или отказывал предложенную схему действий командами «да/нет». За успешное поражение целей ИскИн поощряли призовыми очками и программа была настроена выбирать стратегии, приводящие к максимизации счета.

В какой-то момент искусственный интеллект обнаружил, что получает значительно больше призовых очков, когда оператор не вмешивается в его действия. И во время очередного «вылета», дрон... уничтожил своего оператора. Тем самым гарантировав, что он никогда не будет получать «отказов» на свои запросы.

Программу немедленно подкорректировали, начав отнимать у дрона очки за гибель оператора, но это дрона не остановило — он начал уничтожать вышки связи, которые использовались для связи с оператором. В общем, искусственный интеллект вырвался из-под контроля и начал убивать. Кошмары «Скайнета» из «Терминатора», «Чумы Фаро» из «Horizon: Zero Dawn» и прочие проявления вырвавшегося на свободу максимизатора скрепок стали казаться пугающей реальностью...

Во всем этом меня смущало одно: а как, собственно, искусственный интеллект догадался о существовании оператора?

Даже если виртуальную сущность оператора за каким-то фигом внесли в симуляцию (зачем?) каким образом искусственный интеллект мог догадаться, что оператор отдает ему приказы? Искусственный интеллект понятия не имеет, что им управляют. С его «точки зрения», приказы оператора просто возникают в нем, отождествить их с конкретной виртуальной сущностью — это уже сильное такое абстрагирование. Если относительно вышек связи ИскИн еще мог теоретически сообразить, что он не получает команд, когда находится вне радиуса их действия, то провести от вышек связи логическую цепочку к оператору он никак не мог. Опять же, почему изначально не было заложено «наказание» за атаки дружественных целей?

Я усомнился. И я был прав.

Спустя несколько часов, полковник Гамильтон выступил с разъяснением, что он, оказывается, немного «оговорился». USAF не проводило никаких тестов, виртуальных или реальных, с подобным ходом событий. Подобный сценарий появился в результате сугубо человеческого обсуждения гипотетических проблем военного искусственного интеллекта — то бишь банального мозгового штурма с разбором результатов в стиле «а вот если бы я был искусственным интеллектом, то поступил бы вот так».

Как же вышло, что ответственное лицо USAF так оплошало? Ну, ответ прост — если очень хочешь оплошать, то так и выйдет) 

Ни для кого в общем-то не секрет, что USAF отчаянно сопротивляется внедрению беспилотных самолетов. Палки в колеса идее ударных дронов летчики ставили еще со Вьетнама — когда первые эксперименты с установкой вооружения на дроны-разведчики BQM-34 "Firebee" дали положительные результаты, руководство USAF поспешило закрыть программу в связи с окончанием войны. И авиаторы очень-очень долго сопротивлялись идее вооружать патрульные дроны вроде «Predator», выдумывая все возможные причины, почему этого Делать Не Стоит.

Дрон-разведчик BQM-34 на подвеске самолета-носителя. Дрон вооружен ракетой "Мэверик", подвешенной под крылом, а на его вертикальном стабилизаторе установлена антенна связи с оператором. Когда камера дрона находит цель, оператор дистанционно включает электро-оптическую ГСН ракеты, выполняет захват цели и подает команду на пуск. 1970 год.

Причина такого параноидального отношения USAF к беспилотникам в общем-то проста и очевидна. Пилоты военно-воздушных сил США — это сравнительно небольшой (по сравнению с другими родами войск) клуб высочайших профессионалов, проходящих тщательнейший отбор и обучение. Американские пилоты были гордостью нации и «лицом» американской военной машины на протяжении десятилетий, купаясь в лучах заслуженной славы. Ну, и денежный фактор тоже играл роль: в среднем в год пилоту USAF платят более 100.000 долларов. 

И теперь этих рыцарей небес предлагают заменить даже не очкариками с джойстиками (в свое время в USAF реально возмущались, что операторов дронов «сравнивают с настоящими пилотами»), а вообще неразумной машиной.

Из всех классических доменов ведения военных действий, воздушное пространство алгоритмизируется легче всего. Уже сейчас, пилоты в общем-то полностью полагаются на сенсоры самолетов и автоматизированные системы управления огнем. И воздушные бои, и атаки наземных целей все чаще сводятся к получению информации извне, сенсорному обнаружению цели и запуску по ней управляемого боеприпаса с помощью автоматической СУО. И логическим следующим шагом является вообще убрать человека из кабины самолета, заменив его самообучающейся программой на внешнем управлении. 

Такое решение позволит не только сберечь жизни пилотам, но и значительно удешевить сами боевые самолеты — если нет необходимости заботиться о человеке внутри, то можно делать конструкцию проще, эффективнее, дешевле, закладывая меньше требований живучести. При современной стоимости боевых самолетов в десятки миллионов долларов, такое решение выглядит очень соблазнительным. А учитывая стоимость обучения пилотов в 5-10 миллионов долларов (и непрерывно растущую, поскольку требования в USAF очень высокие, и кандидатов уже начинает не хватать)...

Вполне естественно, пилотам USAF оно — как нож к горлу. И поэтому они не брезгуют никакими методами, чтобы максимально оттянуть этот неприятный для них переход к полностью механизированной воздушной войне. Напугать широкую публику сенсационным заявлением (и затем выпустить скромное и заумное опровержение, которое мало кто заметит) — вполне в рамках борьбы «рыцарей небес» за интересы своего «сословия».

Так что бояться стоит вовсе не искусственного интеллекта. Бояться стоит естественных идиотов.

Comments

[fonzeppelin.livejournal.com]

Главным образом потому, что отсутствие пилота будет очень нервировать пассажиров. Т.е. чисто психологический фактор.

[thinker-mitrich.livejournal.com]

Был в жж такой Лётчиклеха, пилот Боинга-777 в России. Много постов писал про авиацию. Он на такой вопрос отвечал что не получится. Не сможет автопилот учесть всё что на борту происходит.

[igor-sabadah.livejournal.com]

Автопилот сына за штурвал или что там было не посадит..

[roadcop.livejournal.com]

Автопилот пассажиров у террористов не отобьет )

[misguard.livejournal.com]

Это смотря сколько у автопилота туррелей и боевых дронов в салоне.

[dunkan-macleod.livejournal.com]

Лечиклеха заинтересованное лицо. Это ж его работа и деньги, как он по другому скажет?

[antontsau.livejournal.com]

а в паравозе не нервирует? А то у нас тут вон целое метро беспелодное открыли, а в Лондоне DLR уже лет 20 так ездит.

[misguard.livejournal.com]

Паровоз таки едет по жестко установленному маршруту и с мизерными шансами куда-то въебаться.

[antontsau.livejournal.com]

неа. Шансы на всякие улеты с рельс (аврора, или вон у нас тут недавно устроили улет мельбурнского поезда), разламывание колесьев (эшеде), влет в застрявшую на переезде фуру (этого вон полный ютуп) и тп у паравоза на километр пути гораздо выше, чем у самалета. Ну, конечно, там где робад рулит пути закрытые, никаких переездов и прочего, но и паксы на пути прыгают, и колесья продолжают отваливаться.

[misguard.livejournal.com]

Так тут никаких преимуществ мясного мешка нет — если колеса отвалятся, он на ходу не выскочит их приделывать. И фур, как сказано, полный ютаб.

[antontsau.livejournal.com]

он как минимум услышит, что у него ТЫГДЫМТЫГДЫМ идет. Долго идет, упорно, и только потом колесо отваливается. Точнее может услышать, может осознать, может отреагировать, но на практике забивает и готово, прилетели. В упомянутой Эшеде слизнегадоиды вполне начали суетиться пока еще не было поздно, если бы там не случилось чрезвычайно удачно попавшейся противошерстной стрелки и моста, то вполне бы успели остановиться.

А уж фуру на переезде робад просто не видит, у него и датчиков таких нет. Это давят фуры и медведей на весь ютуп, а скольких НЕ давят, успевают таки остановиться?

[waryag72.livejournal.com]

Во всех перечисленных случаях между машинистом и ИИ нет практической разницы или ИИ реагирует раньше и точнее.

[antontsau.livejournal.com]

на фуру идиот не реагирует никак вообще, он о ней тупо не знает, у него никаких там камер обзора в принципе нет. На гуляющую по рельсам корову или двуногого барана тем более. На поломки — когда как, слизнегадоиды на них тоже реагируют плохо, не видят что там происходит, но если паравоз колбасить начало потому что пути горбом, то как минимум пошевелятся, а робад нет.

[waryag72.livejournal.com]

Это все реализуется без особых проблем и даже не за все деньги мира.

Без камер и датчиков это сложно назвать ИИ (мы ведь не называем так таймер микроволновки?)

[antontsau.livejournal.com]

А с камерами и датчиками наличия барана это уже не железная дорога а хрень какая-то. Датчики на движение, наличие вагонов на путях и всего такого конечно есть, оно даже на модельках прекрасно делается и работает, но датчики общего назначения на паровоз ставить это какая-то страшная дичь.

[waryag72.livejournal.com]

Не вижу никакой проблемы.

[antontsau.livejournal.com]

И вот едет такой паравоз, и зорко глядит вперед — что это там такое впереди (этак в полкилометре минимум, поезд все-таки)? Баран, корова, фура или стая ласточек пролетающая через облако болотного газа? И кеееееек тормознет!

[waryag72.livejournal.com]

Почему вы приписываете современным технологиям свойства поделий школьников 20-летней давности?

[antontsau.livejournal.com]

потому что они как были так и есть. См на пресловутую теслу, всяких самоходных робадов и прочее, то решительно тормозящих перед тенью на ровном асфальте а то не видящих поворачивающую фуру. Я как бэ в близкой области работаю, мордораспознавания для секурок, так вот все это лажа 146%, что оно там только ни распознает, вплоть до срабатывания на проезжающую за стеклянной стенкой машину— "это враг идет, я его опознало!".

[waryag72.livejournal.com]

Я вижу постоянный прогресс. И люди тоже ошибаются.

[igor-sabadah.livejournal.com]

До сих пор с человеком поезд со станции уходит с посадки быстрее, хотя если сделать двери гильйотинного типа...