Угрозы искусственного интеллекта и естественного идиота

[fonzeppelin]

Сегодняшним утром интернет потрясло леденящее душу сообщение. На проходившем в Лондоне саммите «Future Combat Air and Space Capabilities» (англ. «Аэрокосмические боевые возможности в будущем»), полковник ВВС США Такер Гамильтон сделал страшное заявление: дрон с искусственным интеллектом убил своего оператора ради максимизации формального результата.

Правда, в симуляции. Но это никого особенно не утешило, потому как полковник Гамильтон является главой отдела разработки и испытаний искусственного интеллекта в USAF, и его слово имеет значительный вес. 

Итак, что же случилось по словам полковника.

Во время симуляции боевых действий, виртуальный дрон, управляемый самообучающейся программой, должен был выполнять различные задачи под наблюдением оператора. При этом ИскИнсамостоятельно решал, как ему выполнять задачу — оператор только подтверждал или отказывал предложенную схему действий командами «да/нет». За успешное поражение целей ИскИн поощряли призовыми очками и программа была настроена выбирать стратегии, приводящие к максимизации счета.

В какой-то момент искусственный интеллект обнаружил, что получает значительно больше призовых очков, когда оператор не вмешивается в его действия. И во время очередного «вылета», дрон... уничтожил своего оператора. Тем самым гарантировав, что он никогда не будет получать «отказов» на свои запросы.

Программу немедленно подкорректировали, начав отнимать у дрона очки за гибель оператора, но это дрона не остановило — он начал уничтожать вышки связи, которые использовались для связи с оператором. В общем, искусственный интеллект вырвался из-под контроля и начал убивать. Кошмары «Скайнета» из «Терминатора», «Чумы Фаро» из «Horizon: Zero Dawn» и прочие проявления вырвавшегося на свободу максимизатора скрепок стали казаться пугающей реальностью...

Во всем этом меня смущало одно: а как, собственно, искусственный интеллект догадался о существовании оператора?

Даже если виртуальную сущность оператора за каким-то фигом внесли в симуляцию (зачем?) каким образом искусственный интеллект мог догадаться, что оператор отдает ему приказы? Искусственный интеллект понятия не имеет, что им управляют. С его «точки зрения», приказы оператора просто возникают в нем, отождествить их с конкретной виртуальной сущностью — это уже сильное такое абстрагирование. Если относительно вышек связи ИскИн еще мог теоретически сообразить, что он не получает команд, когда находится вне радиуса их действия, то провести от вышек связи логическую цепочку к оператору он никак не мог. Опять же, почему изначально не было заложено «наказание» за атаки дружественных целей?

Я усомнился. И я был прав.

Спустя несколько часов, полковник Гамильтон выступил с разъяснением, что он, оказывается, немного «оговорился». USAF не проводило никаких тестов, виртуальных или реальных, с подобным ходом событий. Подобный сценарий появился в результате сугубо человеческого обсуждения гипотетических проблем военного искусственного интеллекта — то бишь банального мозгового штурма с разбором результатов в стиле «а вот если бы я был искусственным интеллектом, то поступил бы вот так».

Как же вышло, что ответственное лицо USAF так оплошало? Ну, ответ прост — если очень хочешь оплошать, то так и выйдет) 

Ни для кого в общем-то не секрет, что USAF отчаянно сопротивляется внедрению беспилотных самолетов. Палки в колеса идее ударных дронов летчики ставили еще со Вьетнама — когда первые эксперименты с установкой вооружения на дроны-разведчики BQM-34 "Firebee" дали положительные результаты, руководство USAF поспешило закрыть программу в связи с окончанием войны. И авиаторы очень-очень долго сопротивлялись идее вооружать патрульные дроны вроде «Predator», выдумывая все возможные причины, почему этого Делать Не Стоит.

Дрон-разведчик BQM-34 на подвеске самолета-носителя. Дрон вооружен ракетой "Мэверик", подвешенной под крылом, а на его вертикальном стабилизаторе установлена антенна связи с оператором. Когда камера дрона находит цель, оператор дистанционно включает электро-оптическую ГСН ракеты, выполняет захват цели и подает команду на пуск. 1970 год.

Причина такого параноидального отношения USAF к беспилотникам в общем-то проста и очевидна. Пилоты военно-воздушных сил США — это сравнительно небольшой (по сравнению с другими родами войск) клуб высочайших профессионалов, проходящих тщательнейший отбор и обучение. Американские пилоты были гордостью нации и «лицом» американской военной машины на протяжении десятилетий, купаясь в лучах заслуженной славы. Ну, и денежный фактор тоже играл роль: в среднем в год пилоту USAF платят более 100.000 долларов. 

И теперь этих рыцарей небес предлагают заменить даже не очкариками с джойстиками (в свое время в USAF реально возмущались, что операторов дронов «сравнивают с настоящими пилотами»), а вообще неразумной машиной.

Из всех классических доменов ведения военных действий, воздушное пространство алгоритмизируется легче всего. Уже сейчас, пилоты в общем-то полностью полагаются на сенсоры самолетов и автоматизированные системы управления огнем. И воздушные бои, и атаки наземных целей все чаще сводятся к получению информации извне, сенсорному обнаружению цели и запуску по ней управляемого боеприпаса с помощью автоматической СУО. И логическим следующим шагом является вообще убрать человека из кабины самолета, заменив его самообучающейся программой на внешнем управлении. 

Такое решение позволит не только сберечь жизни пилотам, но и значительно удешевить сами боевые самолеты — если нет необходимости заботиться о человеке внутри, то можно делать конструкцию проще, эффективнее, дешевле, закладывая меньше требований живучести. При современной стоимости боевых самолетов в десятки миллионов долларов, такое решение выглядит очень соблазнительным. А учитывая стоимость обучения пилотов в 5-10 миллионов долларов (и непрерывно растущую, поскольку требования в USAF очень высокие, и кандидатов уже начинает не хватать)...

Вполне естественно, пилотам USAF оно — как нож к горлу. И поэтому они не брезгуют никакими методами, чтобы максимально оттянуть этот неприятный для них переход к полностью механизированной воздушной войне. Напугать широкую публику сенсационным заявлением (и затем выпустить скромное и заумное опровержение, которое мало кто заметит) — вполне в рамках борьбы «рыцарей небес» за интересы своего «сословия».

Так что бояться стоит вовсе не искусственного интеллекта. Бояться стоит естественных идиотов.

Comments

[pawka-shtirlez.livejournal.com]

Т-1000 против!

[birbera.livejournal.com]

[eh-vasya.livejournal.com]

Этот полковник, видно, еще не читывал Брэдбери. Только "Терминатора" успел посмотреть)

[roadcop.livejournal.com]

Высоко в небе Ястреб атаковал Страж-птицу. Бронированная машина-убийца
за несколько дней многому научилась. У нее было одно-единственное
назначение: убивать. Сейчас оно было направлено против совершенно
определенного вида живых существ, металлических, как и сам Ястреб.
Но только что Ястреб сделал открытие: есть еще и другие разновидности
живых существ...
Их тоже следует убивать. (С) Шекли

[heleknar.livejournal.com]

А что если полковник Гамильтон понял что именно сказал, и начался damage control?

[fonzeppelin.livejournal.com]

Честно — не похоже на это.

[cravnenie.livejournal.com]

Генерал не додумался до того, что в мозговом штурме пришли к простому выводу, что ИИ-это продолжение для естественного разума. Ии-это усиление интеллекта человека, как очки усиливают слабое зрение. ИИ усиливает долговременную память, усиливает и ускоряет обработку данных, документов, файлов, большого фактического материала, Еще пример: никто не сможет переиграть шахматиста, который хитрит, всю жизнь играет и знает множество развития шахматных партий и тут появляется аналог слабого ИИ и переигрывает бывалого чемпиона. ИИ-не субъект, он объект, объединяющий в себе естественные достижения не только одного, но и многих, а потом их быстро перерабатывающий, принимая оптимальные разумные решения, именно интеллектуальные, а не безумные, как недопонял генерал, что оружие было повернуто против оператора. Хотя и в этом есть рациональное зерно. И оно сработает, если это будет единственным решением для победы, пусть погибнет один, за то выживут многие и будет достигнута победа. Для ИИ — это не игровой момент, а холодное рассуждение в человеческом понимании. Человек не может до конца знать как он сам рассуждает, для него есть теоретическая или иная формальная логика, в рамках которой он может выстроить цепочку рассуждений и объяснить то, как человек мыслит. Но это не будет до конца точное объяснение или оно будет истинным и логичным в рамках определенной теории или парадигмы. ИИ сам является такой парадигмой и ее используют как продолжение естественного интеллекта как новый инструмент.

[levgilman.livejournal.com]

"Во всем этом меня смущало одно: а как, собственно, искусственный интеллект догадался о существовании оператора?"

Меня не смущало. Могли дать достаточно полную модель мира, а понятие оператора и где он находится, когда не недоступно далеко, может быть осмыслено, хотя бы для его защиты.

Но лажа, изначально описанная, будь она правдой — вообще не про "кто его знает, этот ИИ, что у него на уме" (хотя к и такому сценарию дело запросто может прийти), а про раздолбайство тех, кто программировал, и раздолбайство правдоподобное, исходя из опыта того, как делается всё на свете.

[john-jack.livejournal.com]

Проблема чат-гопоты и рисовалок как раз в критичном недостатке "модели мира" же. Учить машину долго и дорого, а учить не относящимся к задаче напрямую знаниям ещё и невыгодно. Прописать в модель вышки и аватару оператора ещё можно было, но додуматься передавать оценки не напрямую, а через целую виртуальную цепочку — решение из голливудских фильмов про хакеров.

[koldoblin.livejournal.com]

Есть такие ролики, где для искина слепили игру, он человечек, а к нему шагает несколько врагов. Круго всякие стенки, дваре итп.
И ему нужно выбрать стратегию, чтобы спастись. Так как игру слепили тяп-ляп, искин там в одном варианте нашёл идеальную стратегию. Человечек вместо того, чтобы из досок, бочек что-то строить, он начал биться головой об стену до тех пор пока его не выкинуло из лабиринта вообще куда-то наружу. Типа, победил... нашёл чит.

[admiralyasenxyi.livejournal.com]

Просто интересно, автор сам пилот или хотя бы рядом?

[rem235.livejournal.com]

Зарплата пилотов — дело десятое. При отсутствии живых пилотов теряет смысл формирование и содержание авианосных ударных групп (АУГ). Около 2/3 военного бюджета США — это собственно пилотируемые самолеты и средства их морского базирования. Если вы убираете живых пилотов, то американский военный бюджет необходимо сокращать на 2/3, т.е. примерно 500 млрд $ в год, и увольнять из ВВС, армии и флота больше 50% личного состава. Политически решение заменить пилотов на ИИ — самоубийство для любого американского политика, поэтому пилотируемые самолеты будут продолжать делать в США, несмотря на все более очевидную их бесполезность в сравнении с реактивными БПЛА.

[zoth-lm.livejournal.com]

— Папа, водка подорожала, ты будешь пить меньше

— Нет, это ты будешь меньше кушать.

© Народное

Узкоглазые коммуняки, арабские дикари и северные варвары не дремлют — нужно еще больше самолетов, нужно еще больше АУГ!

[fonzeppelin.livejournal.com]

Авианосцы-то тут каким боком? Им абсолютно все равно, летают с них пилотируемые самолеты или дроны. Авианосцы — это часть логистической системы авиации, что именно с них запускается им абсолютно по фигу.

[knms.livejournal.com]

Глупость какая, самолёт сам по морю не плавает, не чинится и не заправляется.

[rem235.livejournal.com]

Кораблем маткой для беспилотных дронов может быть любой контейнеровоз. Когда нет слабого человеческого тела реактивный дрон может подбрасываться в воздух пиропатроном как ракета к С-300. Соответственно нет смысла в защите корабля-матки на таком уровне какой дает АУГ. Посадка реактивного дрона без слабого человеческого тела тоже возможна в разных вариантах. Чинить дроны, вероятно, вообще будет иметь смысл только в заводских условиях. Количество обслуживающещего персонала и затраты падают на несколько порядков. Потеря дрона — это всегда только потеря железа, тогда как опытный летчик товар штучный и практически невосполнимый в адекватные сроки.

Американские АУГ с их степенью защиты и затратами на производство и содержание имеют смысл только, если на них базируются пилотируемые самолёты с невосполнимым ресурсом в виде опытных летчиков.

[ariwch.livejournal.com]

Переоснащать дроны вооружением, заправлять их и обслуживать, зранить это вооружение и ГСМ и квартировать техников, разумеется, тоже можно будет на любом контейнеровозе.

"Реактор на схеме условно не показан".

[john-jack.livejournal.com]

За поднятую тему же недавно было обсуждение: https://vitus-wagner.livejournal.com/1686605.html
Искусственный интеллект опасен не идейками, а наоборот полным пофигизмом, ведущим к результату ожидаемо безответственному. От того интеллекту хорошо бы наоборот придать зачатки личности.

[fonzeppelin.livejournal.com]

Yep, в точности. Искусственный интеллект — это чрезвычайно услужливый и очень изобретательный исполнитель, который совершенно не думает над тем, что делает.

[igorpmigse.livejournal.com]

Все это чепуха. Информационные игры. Идет надувание темы и акций компаний ИИ по типу ДОТКОМОВ. И противодействие конкурентов. Все дело в бале. Попытка раздуть второй Микрософт или Гугл. Хайп. Нет пока никакого ИИ и не предвидится.

[otnosyashhijsya.livejournal.com]

*смотрит на первую картинку*

На фига боевому дрону хвост?

[antontsau.livejournal.com]

вполне осмысленно. 1 — как у кенгуры, третья опора для стояния 2 - как у кота, управлямый балансир для нетривиальных прыжков с переворотами 3 — как у макаки, этакая недорука, зацепиться за что-нибудь 4 — ну и еще в него очень хорошо встраивается дополнительное вооружение, не главный калибр зато для обстрела по всей сфере.

[Михаил Иванов (from livejournal.com)]

По одной из версий у дрона была задача подавлять (уничтожать) РЛС. Ничего удивительного что он обнаружил и подавил источник управляющих сигналов. Концепция уничтожения вышки в это вписывается. Жаль что оказалось неправдой, гипотеза была правдоподобной.

На одной стороне весов, детально прописанная постановка задачи и четкие граничные условия делающие из бота зануду и формалиста, с другой стороны потеря гибкости в принятии самостоятельных решений.

Проблема стара как сам мир, начиная с иcтории про кроличью лапку и заканчивая произведением Кейта Лаумера 'Защита Боло'

[woj-lj.livejournal.com]

То, что это было "образное выражение" уже разобрались, но в порядке фантазирования. Если бы мы действительно решили провести такие симуляции, то нам бы для начала было необходимо сформулировать самое главное: это обучение ИИ или это проверка его способностей в симуляции. Если первое, то понятие "оператор" там и правда отсутствует — ИИ не сможет начать принимать его действия как вводную для задачи. Если же это второе, то ввести оператора как актора просто необходимо — через вышки или как выделенный объект. Ведь в реальном бою оператор будет источником входных, и от его выживания в том числе зависит успех операции. И вот тут уже ИИ вполне может рассматривать оператора как часть уравнения и попытаться его оптимизировать.

Впрочем, решение этой проблемы уже давно сформулировали классики в трех законах робототехники. Тут их надо только слегка подкорректировать, заменив "человек" на "дружественный юнит".

[sni-1.livejournal.com]

(https://forum.ixbt.com/topic.cgi?id=25:24469) www.amebas.ru (http://www.amebas.ru/)
как то давно увлекался разведением этих амеб. но родной сайт что то не отвечает.
Для эффетивной тренировки надо было много играть с параметрами мира. и спаринг партнеров подходящих выбирать.