Угрозы искусственного интеллекта и естественного идиота

[fonzeppelin]

Сегодняшним утром интернет потрясло леденящее душу сообщение. На проходившем в Лондоне саммите «Future Combat Air and Space Capabilities» (англ. «Аэрокосмические боевые возможности в будущем»), полковник ВВС США Такер Гамильтон сделал страшное заявление: дрон с искусственным интеллектом убил своего оператора ради максимизации формального результата.

Правда, в симуляции. Но это никого особенно не утешило, потому как полковник Гамильтон является главой отдела разработки и испытаний искусственного интеллекта в USAF, и его слово имеет значительный вес. 

Итак, что же случилось по словам полковника.

Во время симуляции боевых действий, виртуальный дрон, управляемый самообучающейся программой, должен был выполнять различные задачи под наблюдением оператора. При этом ИскИнсамостоятельно решал, как ему выполнять задачу — оператор только подтверждал или отказывал предложенную схему действий командами «да/нет». За успешное поражение целей ИскИн поощряли призовыми очками и программа была настроена выбирать стратегии, приводящие к максимизации счета.

В какой-то момент искусственный интеллект обнаружил, что получает значительно больше призовых очков, когда оператор не вмешивается в его действия. И во время очередного «вылета», дрон... уничтожил своего оператора. Тем самым гарантировав, что он никогда не будет получать «отказов» на свои запросы.

Программу немедленно подкорректировали, начав отнимать у дрона очки за гибель оператора, но это дрона не остановило — он начал уничтожать вышки связи, которые использовались для связи с оператором. В общем, искусственный интеллект вырвался из-под контроля и начал убивать. Кошмары «Скайнета» из «Терминатора», «Чумы Фаро» из «Horizon: Zero Dawn» и прочие проявления вырвавшегося на свободу максимизатора скрепок стали казаться пугающей реальностью...

Во всем этом меня смущало одно: а как, собственно, искусственный интеллект догадался о существовании оператора?

Даже если виртуальную сущность оператора за каким-то фигом внесли в симуляцию (зачем?) каким образом искусственный интеллект мог догадаться, что оператор отдает ему приказы? Искусственный интеллект понятия не имеет, что им управляют. С его «точки зрения», приказы оператора просто возникают в нем, отождествить их с конкретной виртуальной сущностью — это уже сильное такое абстрагирование. Если относительно вышек связи ИскИн еще мог теоретически сообразить, что он не получает команд, когда находится вне радиуса их действия, то провести от вышек связи логическую цепочку к оператору он никак не мог. Опять же, почему изначально не было заложено «наказание» за атаки дружественных целей?

Я усомнился. И я был прав.

Спустя несколько часов, полковник Гамильтон выступил с разъяснением, что он, оказывается, немного «оговорился». USAF не проводило никаких тестов, виртуальных или реальных, с подобным ходом событий. Подобный сценарий появился в результате сугубо человеческого обсуждения гипотетических проблем военного искусственного интеллекта — то бишь банального мозгового штурма с разбором результатов в стиле «а вот если бы я был искусственным интеллектом, то поступил бы вот так».

Как же вышло, что ответственное лицо USAF так оплошало? Ну, ответ прост — если очень хочешь оплошать, то так и выйдет) 

Ни для кого в общем-то не секрет, что USAF отчаянно сопротивляется внедрению беспилотных самолетов. Палки в колеса идее ударных дронов летчики ставили еще со Вьетнама — когда первые эксперименты с установкой вооружения на дроны-разведчики BQM-34 "Firebee" дали положительные результаты, руководство USAF поспешило закрыть программу в связи с окончанием войны. И авиаторы очень-очень долго сопротивлялись идее вооружать патрульные дроны вроде «Predator», выдумывая все возможные причины, почему этого Делать Не Стоит.

Дрон-разведчик BQM-34 на подвеске самолета-носителя. Дрон вооружен ракетой "Мэверик", подвешенной под крылом, а на его вертикальном стабилизаторе установлена антенна связи с оператором. Когда камера дрона находит цель, оператор дистанционно включает электро-оптическую ГСН ракеты, выполняет захват цели и подает команду на пуск. 1970 год.

Причина такого параноидального отношения USAF к беспилотникам в общем-то проста и очевидна. Пилоты военно-воздушных сил США — это сравнительно небольшой (по сравнению с другими родами войск) клуб высочайших профессионалов, проходящих тщательнейший отбор и обучение. Американские пилоты были гордостью нации и «лицом» американской военной машины на протяжении десятилетий, купаясь в лучах заслуженной славы. Ну, и денежный фактор тоже играл роль: в среднем в год пилоту USAF платят более 100.000 долларов. 

И теперь этих рыцарей небес предлагают заменить даже не очкариками с джойстиками (в свое время в USAF реально возмущались, что операторов дронов «сравнивают с настоящими пилотами»), а вообще неразумной машиной.

Из всех классических доменов ведения военных действий, воздушное пространство алгоритмизируется легче всего. Уже сейчас, пилоты в общем-то полностью полагаются на сенсоры самолетов и автоматизированные системы управления огнем. И воздушные бои, и атаки наземных целей все чаще сводятся к получению информации извне, сенсорному обнаружению цели и запуску по ней управляемого боеприпаса с помощью автоматической СУО. И логическим следующим шагом является вообще убрать человека из кабины самолета, заменив его самообучающейся программой на внешнем управлении. 

Такое решение позволит не только сберечь жизни пилотам, но и значительно удешевить сами боевые самолеты — если нет необходимости заботиться о человеке внутри, то можно делать конструкцию проще, эффективнее, дешевле, закладывая меньше требований живучести. При современной стоимости боевых самолетов в десятки миллионов долларов, такое решение выглядит очень соблазнительным. А учитывая стоимость обучения пилотов в 5-10 миллионов долларов (и непрерывно растущую, поскольку требования в USAF очень высокие, и кандидатов уже начинает не хватать)...

Вполне естественно, пилотам USAF оно — как нож к горлу. И поэтому они не брезгуют никакими методами, чтобы максимально оттянуть этот неприятный для них переход к полностью механизированной воздушной войне. Напугать широкую публику сенсационным заявлением (и затем выпустить скромное и заумное опровержение, которое мало кто заметит) — вполне в рамках борьбы «рыцарей небес» за интересы своего «сословия».

Так что бояться стоит вовсе не искусственного интеллекта. Бояться стоит естественных идиотов.

Comments

[antontsau.livejournal.com]

8/64! УВЧ!

А насчет как идиот находит нетривиальные решения... Находит. Потому что идиот, тыкается во все стороны. Иногда дохнет, сливает задачу, несет потери тыкнувшись не туда — ну значит не надо туда следующий раз тыкаться, на то и обучение сетки. А иногда ВНЕЗАПНО обнаруживается, что это случайное действие повысило целевую функцию. Ураааа, победа, надо еще нажать в этом направлении! И понеслось. Снес ретранслятор или еще каким-то образом нарушил связь с слизнегадоидом и функция подросла? О, значит так и надо делать!

[kobyz.livejournal.com]

и да и нет.
Действительно, ИИ методами перебора или генетическим алгоритмом может отыскать "странные" но эффективные решения поставленной задачи, примеры были.
Но вот в чем проблема, перебор происходит в заданных рамках. Т.е. машина прикидывает решения, анализирует их результат по данной модели, получает некий балл. Потом прикидывает другие решения, получает другой балл. Перебрав все возможные варианты определяет оптимальный (с наивысшим баллом) вариант решения.

Нейросетка сможет свести несколько таких проверок в единую систему принятия решений.

НО!. Для того чтобы ИИ решил убить оператора нужно чтобы в модели было заложено возможное действие- "убить оператора" с указанием последствий от этого действия. Аналогично и с вышками — ретрансляторами. Хотя последнее вероятней, если отрабатывается механизм взаимодействия в условиях непостоянной связи (т.е. в отсутствии связи машина должна идти к месту где она есть или принимать часть решений самостоятельно) то в модель будут заложено наличие доступа к вышке и в результате анализа машина сможет откопать решение - летать подальше от вышек и бомбить все что движется, балл будет максимально высок.

[fonzeppelin.livejournal.com]

НО!. Для того чтобы ИИ решил убить оператора нужно чтобы в модели было
заложено возможное действие- "убить оператора" с указанием последствий
от этого действия.

Именно. Если в случае с вышками ИскИн еще мог потенциально откопать решение "разбомбить вышки", то осмыслить, что команды исходят от оператора, он не мог в принципе.

[misguard.livejournal.com]

Это если исходить из того, что оператор не ПАН на поле боя, а задача — не работа в CAS. Там как раз подтверждения перед выстрелом крайне желательны, чтоб своих не урыть.

[papka-karlo.livejournal.com]

Зачем? В модели может быть прописана потеря связи с командным пунктом (в виде возможности уничтожения его противником), и если в симуляции такое случилось и эффективность ИИ выросла, то логично будет при следующем разе уничтожить пункт самому, не дожидаясь удара противника

[kobyz.livejournal.com]

Чтобы от этого эффективность выросла нужны крайне странные условия. Без штрафов за уничтожение нейтралов и своих и с бесконечным БК. Иначе ИИ потратит свои ракеты/бомбы на первый же подозрительный объект (типа одинокий пустой сарай) или на свои же окопы, они ведь ближе чем враг.

Но даже при этом, то что после уничтожения КП кончились команды никак не даст ИИ сделать вывод о необходимости уничтожения КП. Только о том что КП можно не защищать. Переход от уничтожения противником к "дай ка я сам долбану чтоб не командовали" это слишком высокий уровень абстракции характерный именно для человека, а не для ИИ.

[antontsau.livejournal.com]

Не надо прямо такого "убить оператора", есть только "нанесен удар по командному пункту" и достаточно, если за разрушение этого самого пункта не прописаны отдельные кары.

[kobyz.livejournal.com]

Вот с этим "достаточно" и есть проблемы.
Для того чтобы получить описанный результат нужно настроить систему моделирования (не ИИ!) со следующими ошибками/странностями:

-наличие командного пункта в зоне поражения
-отсутствие распознания свой/чужой
-прописанные в модели последствия разрушения командного пункта, причем именно так, что без него ИИ сам начинает принимать решения на уничтожение.
-начисление очков за уничтожение дружественных и нейтральных целей (тех самых которые оператор не дает атаковать)

Без любой из этих ошибок подобный сценарий не может сработать. И большинство из них явно противоречат здравому смыслу, никто ТАК систему не настроит, если только не желает достичь именно этого результата.

Собственно как признался позже автор этого утверждения это не было моделированием, это был "мысленный эксперимент" попросту говоря человек мало понимающий в ИИ но резко опасающийся его внедрения подумал при каких бы условиях ИИ мог бы накосячить достаточно пугающе, и придумал. То что он придумал глупость- видно только специалистам. Газетчики наживку заглотнули с поплавком и удочкой...