Угрозы искусственного интеллекта и естественного идиота

[fonzeppelin]

Сегодняшним утром интернет потрясло леденящее душу сообщение. На проходившем в Лондоне саммите «Future Combat Air and Space Capabilities» (англ. «Аэрокосмические боевые возможности в будущем»), полковник ВВС США Такер Гамильтон сделал страшное заявление: дрон с искусственным интеллектом убил своего оператора ради максимизации формального результата.

Правда, в симуляции. Но это никого особенно не утешило, потому как полковник Гамильтон является главой отдела разработки и испытаний искусственного интеллекта в USAF, и его слово имеет значительный вес. 

Итак, что же случилось по словам полковника.

Во время симуляции боевых действий, виртуальный дрон, управляемый самообучающейся программой, должен был выполнять различные задачи под наблюдением оператора. При этом ИскИнсамостоятельно решал, как ему выполнять задачу — оператор только подтверждал или отказывал предложенную схему действий командами «да/нет». За успешное поражение целей ИскИн поощряли призовыми очками и программа была настроена выбирать стратегии, приводящие к максимизации счета.

В какой-то момент искусственный интеллект обнаружил, что получает значительно больше призовых очков, когда оператор не вмешивается в его действия. И во время очередного «вылета», дрон... уничтожил своего оператора. Тем самым гарантировав, что он никогда не будет получать «отказов» на свои запросы.

Программу немедленно подкорректировали, начав отнимать у дрона очки за гибель оператора, но это дрона не остановило — он начал уничтожать вышки связи, которые использовались для связи с оператором. В общем, искусственный интеллект вырвался из-под контроля и начал убивать. Кошмары «Скайнета» из «Терминатора», «Чумы Фаро» из «Horizon: Zero Dawn» и прочие проявления вырвавшегося на свободу максимизатора скрепок стали казаться пугающей реальностью...

Во всем этом меня смущало одно: а как, собственно, искусственный интеллект догадался о существовании оператора?

Даже если виртуальную сущность оператора за каким-то фигом внесли в симуляцию (зачем?) каким образом искусственный интеллект мог догадаться, что оператор отдает ему приказы? Искусственный интеллект понятия не имеет, что им управляют. С его «точки зрения», приказы оператора просто возникают в нем, отождествить их с конкретной виртуальной сущностью — это уже сильное такое абстрагирование. Если относительно вышек связи ИскИн еще мог теоретически сообразить, что он не получает команд, когда находится вне радиуса их действия, то провести от вышек связи логическую цепочку к оператору он никак не мог. Опять же, почему изначально не было заложено «наказание» за атаки дружественных целей?

Я усомнился. И я был прав.

Спустя несколько часов, полковник Гамильтон выступил с разъяснением, что он, оказывается, немного «оговорился». USAF не проводило никаких тестов, виртуальных или реальных, с подобным ходом событий. Подобный сценарий появился в результате сугубо человеческого обсуждения гипотетических проблем военного искусственного интеллекта — то бишь банального мозгового штурма с разбором результатов в стиле «а вот если бы я был искусственным интеллектом, то поступил бы вот так».

Как же вышло, что ответственное лицо USAF так оплошало? Ну, ответ прост — если очень хочешь оплошать, то так и выйдет) 

Ни для кого в общем-то не секрет, что USAF отчаянно сопротивляется внедрению беспилотных самолетов. Палки в колеса идее ударных дронов летчики ставили еще со Вьетнама — когда первые эксперименты с установкой вооружения на дроны-разведчики BQM-34 "Firebee" дали положительные результаты, руководство USAF поспешило закрыть программу в связи с окончанием войны. И авиаторы очень-очень долго сопротивлялись идее вооружать патрульные дроны вроде «Predator», выдумывая все возможные причины, почему этого Делать Не Стоит.

Дрон-разведчик BQM-34 на подвеске самолета-носителя. Дрон вооружен ракетой "Мэверик", подвешенной под крылом, а на его вертикальном стабилизаторе установлена антенна связи с оператором. Когда камера дрона находит цель, оператор дистанционно включает электро-оптическую ГСН ракеты, выполняет захват цели и подает команду на пуск. 1970 год.

Причина такого параноидального отношения USAF к беспилотникам в общем-то проста и очевидна. Пилоты военно-воздушных сил США — это сравнительно небольшой (по сравнению с другими родами войск) клуб высочайших профессионалов, проходящих тщательнейший отбор и обучение. Американские пилоты были гордостью нации и «лицом» американской военной машины на протяжении десятилетий, купаясь в лучах заслуженной славы. Ну, и денежный фактор тоже играл роль: в среднем в год пилоту USAF платят более 100.000 долларов. 

И теперь этих рыцарей небес предлагают заменить даже не очкариками с джойстиками (в свое время в USAF реально возмущались, что операторов дронов «сравнивают с настоящими пилотами»), а вообще неразумной машиной.

Из всех классических доменов ведения военных действий, воздушное пространство алгоритмизируется легче всего. Уже сейчас, пилоты в общем-то полностью полагаются на сенсоры самолетов и автоматизированные системы управления огнем. И воздушные бои, и атаки наземных целей все чаще сводятся к получению информации извне, сенсорному обнаружению цели и запуску по ней управляемого боеприпаса с помощью автоматической СУО. И логическим следующим шагом является вообще убрать человека из кабины самолета, заменив его самообучающейся программой на внешнем управлении. 

Такое решение позволит не только сберечь жизни пилотам, но и значительно удешевить сами боевые самолеты — если нет необходимости заботиться о человеке внутри, то можно делать конструкцию проще, эффективнее, дешевле, закладывая меньше требований живучести. При современной стоимости боевых самолетов в десятки миллионов долларов, такое решение выглядит очень соблазнительным. А учитывая стоимость обучения пилотов в 5-10 миллионов долларов (и непрерывно растущую, поскольку требования в USAF очень высокие, и кандидатов уже начинает не хватать)...

Вполне естественно, пилотам USAF оно — как нож к горлу. И поэтому они не брезгуют никакими методами, чтобы максимально оттянуть этот неприятный для них переход к полностью механизированной воздушной войне. Напугать широкую публику сенсационным заявлением (и затем выпустить скромное и заумное опровержение, которое мало кто заметит) — вполне в рамках борьбы «рыцарей небес» за интересы своего «сословия».

Так что бояться стоит вовсе не искусственного интеллекта. Бояться стоит естественных идиотов.

Comments

[dunkan-macleod.livejournal.com]

>Какие правила заданы, так нейросеть и поступит
Нейросеть — не линейный алгоритм. Возможно, у нейронки на одной чаше весов будет лежать уничтожение оператора с условным вредом 10 единиц, и пассивное поведение с дальнейшим прогнозируемым вредом 100 единиц. Задача у нейронки — минимизировать вред. Как она поступит?

[agordian.livejournal.com]

Всё будет совсем не так, по крайней мере в начале пути. Не нужно приписывать нейросети человеческое поведение — она никак не "поступит". Она мгновенно (по человеческим меркам) проведет вычисления, и на выходных слоях получит результат в диапазоне от 0 до 1. Где 0 — огонь точно не открывать, 1 — огонь точно открывать. После чего это чиселко переправит в АСУ дрона и уйдет на следующий цикл — заберет новую порцию данных от сенсоров или нейросетей более низкого уровня, например, распознавания целей с тепловизора. И снова начнет считать. Точнее, будет считать конвейером, но не суть.

Если дрон не в боевом состоянии, он число проигнорирует. Если в боевом состоянии, то сравнит со своей настройкой "агрессивности", например, стрелять после 0.85 (то бишь 85%ной вероятности правильного обнаружения). Причем АСУ будет оперировать совместной вероятностью множества событий: обнаружения цели нейросетью, стабильность обнаружения на некоторой истории, важности цели, обстреливают или нет, параметров движения и еще каких-то, о которых мы не догадываемся, потому что не в теме. Для всего этого нейросеть не нужна. На финише будет не нейросеть, а программа с жестким алгоритмом и ручными настройками, которая спустит курок. Для нее нейросеть — всего лишь поставщик данных, примерно как сейчас данные поставляет программа попроще. Выстрелит по совокупности критериев.

Есть ровно два варианта, когда предложение нейросети стрелять по своим (не ноль на выходе) теоретически возможно: 1) нейросеть обучали возможности стрелять без разбора на своих-чужих или предусмотрели какие-то особые варианты стрельбы по своим; 2) нейросеть ошиблась с идентификацией цели. Первое практически невероятно. Второе очень вероятно, враг маскируется и притворяется мирным трактором с вертикальным взлетом.

Все это никак не бьется ни с первичной ситуацией "скайнет ожил и коварно влупил по оператору", ни с оправданиями "мы тут подумали, а вдруг он оживет".

Спустя некоторое время (небольшое) враг вычислит по статистике слабые места в обучении нейросети и научится ее обманывать. Например, подставлять правильно надутые ложные цели. Чем сложнее механизм, тем больше у него слабых мест.

[dunkan-macleod.livejournal.com]

Вы на суть моего вопроса не ответили. «Поступить» в данном случае — сделать что-либо, выполнить действие. Где вы увидели очеловечивание?

На финише будет не нейросеть, а программа с жестким алгоритмом и ручными настройками, которая спустит курок. Для нее нейросеть — всего лишь поставщик данных, примерно как сейчас данные поставляет программа попроще. Выстрелит по совокупности критериев.

Какая разница? Нейронка скормит этой прокладке нужные данные, чтобы был нажат курок.

Спустя некоторое время (небольшое) враг вычислит по статистике слабые места в обучении нейросети и научится ее обманывать.

Нейронка будет постоянно обучаться на входящих данных, чтобы минимизировать обман.

[agordian.livejournal.com]

На какой вопрос я не ответил? На ваше ненаучное фэнтези?

Давайте еще раз, и на том достаточно.

Нейросеть — это жесткая программа, состоящая из миллионов конструкций if ... else... (если на вход пришло так, то поступай этак). Эти конструкции технически реализованы в виде цифровых фильтров. Весь ажиотаж от волшебных нейросетей случился, когда придумали как _автоматически_ подбирать коэффициенты для миллионов цифровых фильтров. Это называется глубоким обучением (deep learning), а до того пытались это делать вручную, но белковый программист столько конструкций не осиливал.

Если из написанного вы ничего не поняли, то резюме такое: "нейросетевой интеллект" — это вранье, там правда только в четырех буквах "сеть". Это не нейроны, а цифровые фильтры и не интеллект, а с огромной натяжкой рефлекс. Как у младенчика титьку сосать. Эффект от нейросетей не в том, что они умнее человека, а в том, что человек мышление не включает в 99% случаев, или не имеет технической возможности это сделать, как в обсуждаемом примере, а нейросеть пашет и показывает лучший результата на рутинных операциях.

Но вот это вот все: "цена поражения оператора", "выбор нейросети" и прочая лабудень оттого, что вы не знаете, как оно построено, и приписываете нейросети функции Гарри Поттера с волшебной палочкой.

Нейросеть НЕ умеет в абстрактное мышление, нет у нее для этого механизма, и нет потому никакого абстрактного "оператора" с его абстрактной "ценой". Ее как учили (подбирали к/ф фильтров) на виртуальном симуляторе или реальном вар-тандере, так она и будет считать. Если не "наказывали" за поражение своего, то она и в реале даст команду стрелять. Отсюда вывод: генерал нес пургу, потому что тоже думает у ней внутре гаррипоттер.

И никакого дообучения в реальном времени не будет. Просто потому, что обучение нейросети — это отсечение тысяч, если уже не миллионов, негодных вариантов в пользу единственного годного. Нейросеть "дообучившись" в полете 146% только ухудшит свои характеристики.

В общем, надоело за фантастику рассуждать.

[dunkan-macleod.livejournal.com]

>Нейросеть — это жесткая программа, состоящая из миллионов конструкций if ... else... (

На этом можно и закончить.

[waryag72.livejournal.com]

Эффект от нейросетей не в том, что они умнее человека, а в том, что
человек мышление не включает в 99% случаев, или не имеет технической
возможности это сделать, как в обсуждаемом примере, а нейросеть пашет и
показывает лучший результата на рутинных операциях.

Скорее — в возможности накапливать опыт огромного количества итераций. Человеку скучно, он медленнее и у него не так много времени.