Угрозы искусственного интеллекта и естественного идиота

[fonzeppelin]

Сегодняшним утром интернет потрясло леденящее душу сообщение. На проходившем в Лондоне саммите «Future Combat Air and Space Capabilities» (англ. «Аэрокосмические боевые возможности в будущем»), полковник ВВС США Такер Гамильтон сделал страшное заявление: дрон с искусственным интеллектом убил своего оператора ради максимизации формального результата.

Правда, в симуляции. Но это никого особенно не утешило, потому как полковник Гамильтон является главой отдела разработки и испытаний искусственного интеллекта в USAF, и его слово имеет значительный вес. 

Итак, что же случилось по словам полковника.

Во время симуляции боевых действий, виртуальный дрон, управляемый самообучающейся программой, должен был выполнять различные задачи под наблюдением оператора. При этом ИскИнсамостоятельно решал, как ему выполнять задачу — оператор только подтверждал или отказывал предложенную схему действий командами «да/нет». За успешное поражение целей ИскИн поощряли призовыми очками и программа была настроена выбирать стратегии, приводящие к максимизации счета.

В какой-то момент искусственный интеллект обнаружил, что получает значительно больше призовых очков, когда оператор не вмешивается в его действия. И во время очередного «вылета», дрон... уничтожил своего оператора. Тем самым гарантировав, что он никогда не будет получать «отказов» на свои запросы.

Программу немедленно подкорректировали, начав отнимать у дрона очки за гибель оператора, но это дрона не остановило — он начал уничтожать вышки связи, которые использовались для связи с оператором. В общем, искусственный интеллект вырвался из-под контроля и начал убивать. Кошмары «Скайнета» из «Терминатора», «Чумы Фаро» из «Horizon: Zero Dawn» и прочие проявления вырвавшегося на свободу максимизатора скрепок стали казаться пугающей реальностью...

Во всем этом меня смущало одно: а как, собственно, искусственный интеллект догадался о существовании оператора?

Даже если виртуальную сущность оператора за каким-то фигом внесли в симуляцию (зачем?) каким образом искусственный интеллект мог догадаться, что оператор отдает ему приказы? Искусственный интеллект понятия не имеет, что им управляют. С его «точки зрения», приказы оператора просто возникают в нем, отождествить их с конкретной виртуальной сущностью — это уже сильное такое абстрагирование. Если относительно вышек связи ИскИн еще мог теоретически сообразить, что он не получает команд, когда находится вне радиуса их действия, то провести от вышек связи логическую цепочку к оператору он никак не мог. Опять же, почему изначально не было заложено «наказание» за атаки дружественных целей?

Я усомнился. И я был прав.

Спустя несколько часов, полковник Гамильтон выступил с разъяснением, что он, оказывается, немного «оговорился». USAF не проводило никаких тестов, виртуальных или реальных, с подобным ходом событий. Подобный сценарий появился в результате сугубо человеческого обсуждения гипотетических проблем военного искусственного интеллекта — то бишь банального мозгового штурма с разбором результатов в стиле «а вот если бы я был искусственным интеллектом, то поступил бы вот так».

Как же вышло, что ответственное лицо USAF так оплошало? Ну, ответ прост — если очень хочешь оплошать, то так и выйдет) 

Ни для кого в общем-то не секрет, что USAF отчаянно сопротивляется внедрению беспилотных самолетов. Палки в колеса идее ударных дронов летчики ставили еще со Вьетнама — когда первые эксперименты с установкой вооружения на дроны-разведчики BQM-34 "Firebee" дали положительные результаты, руководство USAF поспешило закрыть программу в связи с окончанием войны. И авиаторы очень-очень долго сопротивлялись идее вооружать патрульные дроны вроде «Predator», выдумывая все возможные причины, почему этого Делать Не Стоит.

Дрон-разведчик BQM-34 на подвеске самолета-носителя. Дрон вооружен ракетой "Мэверик", подвешенной под крылом, а на его вертикальном стабилизаторе установлена антенна связи с оператором. Когда камера дрона находит цель, оператор дистанционно включает электро-оптическую ГСН ракеты, выполняет захват цели и подает команду на пуск. 1970 год.

Причина такого параноидального отношения USAF к беспилотникам в общем-то проста и очевидна. Пилоты военно-воздушных сил США — это сравнительно небольшой (по сравнению с другими родами войск) клуб высочайших профессионалов, проходящих тщательнейший отбор и обучение. Американские пилоты были гордостью нации и «лицом» американской военной машины на протяжении десятилетий, купаясь в лучах заслуженной славы. Ну, и денежный фактор тоже играл роль: в среднем в год пилоту USAF платят более 100.000 долларов. 

И теперь этих рыцарей небес предлагают заменить даже не очкариками с джойстиками (в свое время в USAF реально возмущались, что операторов дронов «сравнивают с настоящими пилотами»), а вообще неразумной машиной.

Из всех классических доменов ведения военных действий, воздушное пространство алгоритмизируется легче всего. Уже сейчас, пилоты в общем-то полностью полагаются на сенсоры самолетов и автоматизированные системы управления огнем. И воздушные бои, и атаки наземных целей все чаще сводятся к получению информации извне, сенсорному обнаружению цели и запуску по ней управляемого боеприпаса с помощью автоматической СУО. И логическим следующим шагом является вообще убрать человека из кабины самолета, заменив его самообучающейся программой на внешнем управлении. 

Такое решение позволит не только сберечь жизни пилотам, но и значительно удешевить сами боевые самолеты — если нет необходимости заботиться о человеке внутри, то можно делать конструкцию проще, эффективнее, дешевле, закладывая меньше требований живучести. При современной стоимости боевых самолетов в десятки миллионов долларов, такое решение выглядит очень соблазнительным. А учитывая стоимость обучения пилотов в 5-10 миллионов долларов (и непрерывно растущую, поскольку требования в USAF очень высокие, и кандидатов уже начинает не хватать)...

Вполне естественно, пилотам USAF оно — как нож к горлу. И поэтому они не брезгуют никакими методами, чтобы максимально оттянуть этот неприятный для них переход к полностью механизированной воздушной войне. Напугать широкую публику сенсационным заявлением (и затем выпустить скромное и заумное опровержение, которое мало кто заметит) — вполне в рамках борьбы «рыцарей небес» за интересы своего «сословия».

Так что бояться стоит вовсе не искусственного интеллекта. Бояться стоит естественных идиотов.

Comments

[alll]

Оно всё конешно так, только зачем же обзывать этих людей идиотами. "Дура — не дура, а свой стольник в день имею", евпочя.

[http://users.livejournal.com/vasilisk_/]

Разве они идиоты, если придерживаются вполне рациональной (в терминах теории игр) стратегии, максимизируя свои выгоды с минимальными затратами — даже ведь не соврали, а всего лишь сказали чуточку не всю правду. К тому же, они действуют со всем возможным гуманизмом, ибо живые пилоты пока что не рассматривают вариант бомбёжки собственного командования или даже шантажа возможностью такой бомбёжки.

[nik-nazarenko.livejournal.com]

ну, или второй вариант — что позвонил ягуар семёныч и сказал, что за такие деньги, которые на искусственный идиот зайдут этого полковника и всю элиту...

(меланхолично) как показывает практика (и ваши же неоднократные записи) монстры капитала (сша) ака генералы промыленности (ссср как вариант) жрут любую лётно-рактеную элиту с костями... так что простите — эффективность "сопротивления группы суперпрофи" не очень верится... а вот в то, что эффективным будет именно определённая комбинация и после тщательной отработки вариантов — а кого-то "аж в зобу спёрло" снова — вполне

[Саша Пахомов (from livejournal.com)]

Так что бояться стоит вовсе не искусственного интеллекта. Бояться стоит естественных идиотов.-аварии на АЭС в различных странах как раз это и показали. А вот авиационная ядерная энергетика от такого предположения загнулась даже не начавшись.

[0mogol0.livejournal.com]

в среднем в год пилоту USAF платят более 100.000 долларов.

Это не слишком устаревшие данные? просто по нынешним временам сто тысяч (если в год и брутто) — это очень немного, больше похоже на 80-90ые годы прошлого века.

[fonzeppelin.livejournal.com]

Да нет, пишут что это средняя. Разумеется, разброс там значительный — истребители вроде как по 500.000 и более получают.

[valenten.livejournal.com]

Человеки такие человеки.

Вот мне за искусственный интеллект немного обидно стало. Предлагаю проасациировать AI с котиками, котиков все любят, котики умные и не будут уничтожать таких полезных человеков.

8)

Хотя, возможно, это региональное "загадочная русская душа" и вот это всё.

Вот буквально сегодня в комментариях к фанфику наткнулся на чудесное "Эй! Чудище лесное! Выходи к костру, сестрицей назову!"
Так и видится бабушка выговаривающая дрону — Сегодня штормовое предупреждение передали, не летай высоко! И вот я минерального масла припасла, не то что эта ваша синтетика!"

%)

Да, отсылка к Бато и Тачикомам.

[antontsau.livejournal.com]

8/64! УВЧ!

А насчет как идиот находит нетривиальные решения... Находит. Потому что идиот, тыкается во все стороны. Иногда дохнет, сливает задачу, несет потери тыкнувшись не туда — ну значит не надо туда следующий раз тыкаться, на то и обучение сетки. А иногда ВНЕЗАПНО обнаруживается, что это случайное действие повысило целевую функцию. Ураааа, победа, надо еще нажать в этом направлении! И понеслось. Снес ретранслятор или еще каким-то образом нарушил связь с слизнегадоидом и функция подросла? О, значит так и надо делать!

[kobyz.livejournal.com]

и да и нет.
Действительно, ИИ методами перебора или генетическим алгоритмом может отыскать "странные" но эффективные решения поставленной задачи, примеры были.
Но вот в чем проблема, перебор происходит в заданных рамках. Т.е. машина прикидывает решения, анализирует их результат по данной модели, получает некий балл. Потом прикидывает другие решения, получает другой балл. Перебрав все возможные варианты определяет оптимальный (с наивысшим баллом) вариант решения.

Нейросетка сможет свести несколько таких проверок в единую систему принятия решений.

НО!. Для того чтобы ИИ решил убить оператора нужно чтобы в модели было заложено возможное действие- "убить оператора" с указанием последствий от этого действия. Аналогично и с вышками — ретрансляторами. Хотя последнее вероятней, если отрабатывается механизм взаимодействия в условиях непостоянной связи (т.е. в отсутствии связи машина должна идти к месту где она есть или принимать часть решений самостоятельно) то в модель будут заложено наличие доступа к вышке и в результате анализа машина сможет откопать решение - летать подальше от вышек и бомбить все что движется, балл будет максимально высок.

[agordian.livejournal.com]

Как-то наивно все это выглядит. Нейросеть в режиме эксплуатации "очки" не считает. Когда альфа-зиро самообучился шахматам и по сути разгромил классический шахматный движок, работавший по базе человеческих партий, то свои фигуры не атаковал. Даже если они мешали победной стратегии.

А в режиме обучения/тестовой эксплуатации/виртуальных боев все подобные коллизии выявляются сразу.

(правда, ИИ-оружие будет эксплуатироваться в режиме дообучения, 146%, но и дообученная нейросеть пойдет в дело только после тестирования)

Такое впечатление, что ИИ-генерал за свою епархию знает на уровне школьника.

С боевым ИИ ключевой проблемой будет принятие решений. Оставить за человеком принятие решений затруднительно, человек далеко, н связь уходят сотни миллисекунд, на принятие решений — как получится. ИИ-оружие сразу становится медлительным блаблактаром, а этого добра и так богато.

ИИ придется самостоятельно идентифицировать акторов, различать чужих-своих, планировать бой, реагировать на враждебный ИИ, который делает то же самое. Затем открывать огонь. То есть возможно всё, и френдли-файр, и спланированная атака на своих, если они (допустим, люди или конкурирующий ИИ) действуют неоптимально по выбранному ИИ плану. Когда это делает человек — например, известны случаи, когда артиллерией накрывали позиции, куда прорвался враг, но еще оставались свои — он несет за это ответственность во всех смыслах. Программа ответственности нести не может вообще никоим образом.

Кстати, если в пораженном командирском танке сидит оператор ИИ, то описанная в посте ситуация становится возможной.

[fonzeppelin.livejournal.com]

В том и дело. И у меня это вызвало подозрения. А в результате — оказалось, что никакого ИскИна вообще не тестировалось, а было просто обсуждение возможных проблемных сценариев.

[unklemike.livejournal.com]

Первая мысль — если неопытный игрок забил гол в свои же ворота. это ведь не значит, что люди совсем не нужны.
Вторая мысль — как и у автора журнала. Оператор виртуального дрона никак не включён в симуляцию, он просто из консоли отправляет ему какие-то команды. Как его можно убить?

>>сугубо человеческого обсуждения гипотетических проблем
Гипотетически абсолютно любой человек может просто взять и убить абсолютно любого человека просто так, однако же в реальной жизни подобные случаи весьма редки и имеют какое-то объяснение.
Главный враг ИИ традиционно человеческий фактор и в этом нет ничего удивительного. Когда кого-то, кто получает зарплату, предлагают заменить тем, кто работает за идею, конечно первый начинает нервничать. А кто бы не начал на его месте?
Человеку нужны ресурсы, роботам они не нужны, вот в чём дело.

[lx-photos.livejournal.com]

Точно.

[buzzing-winnie.livejournal.com]

было бы интересно взглянуть на ai созданный идиотами в клиническом, а не социально-культурологическом смысле.

[dunkan-macleod.livejournal.com]

Заменит ИИ пилотов, без вариантов. Китайцы сделают, и выбора не останется. Человек против машины не сможет биться, взять те же перегрузки. Самолёт без пилота и на 100g виражи может выкручивать, лишь бы планер не развалился.

[fonzeppelin.livejournal.com]

Бесспорно. Но USAF это очень-очень не нравится — потому что их пилоты, это элита со сформированным вокруг нее культовым статусом.

[serijga-47.livejournal.com]

Незадолго до посадки самолета обеспокоенная стюардесса выбегает в салон:

- Есть ли на борту пилоты?

Салон замирает.

- Космонавты, летчики?

Пассажиры немеют.

- Ну, хотя бы автогонщики?

Гробовое молчание...

Из хвоста самолета раздается дрожащий голос:

- У меня есть небольшой опыт ...сажать картошку....

[stihin69-88.livejournal.com]

* токсично-бумерский неполиткоррект-комент*

> полковник Такер
Делая исключения для Такера нашего Карлсона... имя говорящее конечно, всё как Георгий Карлин проповедовал :)

" Я Тооодд. А это Блейк и Блейн и Блер и Брент, Тейлор-Тайлер-Джордан-Флин, я не пойму вот откуда вообще эти идиотские имена мальчиков берутся? И Коди и Дилан и Камерон иии... ТАКЕР!
-Хай Такер, я Тоодд.
-Хай Тоодд, я Такеррр!"

https://youtube.com/watch?v=oo8CrY_ZfFk

*токсичный комент off

[koldoblin.livejournal.com]

Они тоже самое скажут про русские.. Им их часто просто не выговорить..

[thinker-mitrich.livejournal.com]

Возникает вопрос - а почему в гражданской авиации до сих пор пилоты есть? Там ведь полётное задание на порядок проще, чем у военных.

[fonzeppelin.livejournal.com]

Главным образом потому, что отсутствие пилота будет очень нервировать пассажиров. Т.е. чисто психологический фактор.

[golovino2009.livejournal.com]

Странный вывод Автора...
ИскИн попытался убить оператора потому что в его возможности были включены такие допуски.
На самом деле это чисто человеческое - кусать руку которая тебя кормит.
Машина всегда останется машиной. Она всегда будет жить в тех рамках и по тем алгоритмам которые в неё вложили.
И в отличии от человека машина никогда не отступит от рамок и условий.
Ей по определению не свойственна подлость, предательство и приспособленчество. Только если Автор программы не заложит туда эти условия.

[fonzeppelin.livejournal.com]

Так истинная ирония в том, что никакой ИскИн никого убить не пытался) Это офицеры, занимающиеся ИИ, теоретизировали такой сценарий в ходе мозгового штурма (посвященного потенциальным опасностям ИИ).

[barni-shtepsel.livejournal.com]

Две недели ушло на выделку генерала, а простой солдат получался за три дня. Генерал вышел роскошный: по всему его туловищу, по рукам и ногам, по голове и лицу шли красивые разноцветные узоры, все тело было отполировано и блестело.

Урфин оживил генерала, тот спрыгнул с верстака и, свирепо вращая глазами, двинулся на хозяина. Джюс сначала оробел, а потом, осмелев, скомандовал:

- Стой! Смир-рно! - Генерал замер.- Слушать мои слова! Вы - генерал Лан Пирот, командующий непобедимой армией Урфина Джюса. А Урфин Джюс - это я, ваш господин и повелитель! Понятно? Повторить!

Деревянная фигура хрипло, но четко повторила:

- Я - генерал Лан Пирот, командующий непобедимой армией Урфина Джюса. Вы - Урфин Джюс, мой господин и повелитель... А почему вы мой повелитель? - вдруг усомнился генерал.- Может быть, наоборот? Я повыше вас ростом, да и силы у меня побольше...

Генерал грозно шагнул к Урфину, тот в испуге отступил, а потом сердито закричал:

- Топотун! Покажи этому наглецу, кто здесь повелитель!

Медведь дал генералу здоровую затрещину, тот полетел кувырком. Поднявшись, он смущенно сказал:

- Ну, зачем сразу такие крутые меры, повелитель? Смотрите, какая вмятина получилась на голове...

- Вмятину я заделаю, зато вы теперь знаете, кто из нас главный.

- Да уж буду знать. А где моя непобедимая армия?

Узнав, что у него в подчинении будут пять капралов и пятьдесят рядовых дуболомов, а впоследствии и еще больше, Лан Пирот утешился. (С)

[fonzeppelin.livejournal.com]

Вы ОЧЕНЬ плохо представляете себе американских пилотов. Как бы для справки, это люди, которые в 50-ых отрабатывали "мертвую петлю" на стратегическом бомбардировщике с целью маловысотной доставки термоядерного оружия (чтобы пока подброшенная бомба падает, бомбардировщик имел... какие-то шансы не оказаться пойманным взрывом). И которые долгое время требовали истребитель, оптимизированный для догфайта под лозунгом "а радар ему вовсе не нужен, потому как зачем эти дальнобойные ракеты — мы и "Сайдвиндерами" всех покрошим"

[21-912.livejournal.com]

Abraham begat Isaac — Enter. =))

[kutsababa.livejournal.com]

Чтобы создать ии нужно знать, что такое интеллект.

[crosszzzz.livejournal.com]

Авиация (пилотируемая) устарела

[ecoross1.livejournal.com]

А ведь чуть не купился на новость, спасибо!

Кстати — таким манером Россия, Китай, Иран и ко имеют неплохие шансы "обнулить" флот устаревающих стелсов США.

[fonzeppelin.livejournal.com]

Пожалуйста) Собственно, пол-интернета купилось)

[mad-lawyer.livejournal.com]

1) Ничего удивительного. Люди склонны "очеловечивать" сложную технику и приписывать ей действия, которые совершил бы человек. Маловероятно, что ИскИн будет реагировать также, как и условный "ЕстИн" (Естественный Интеллект).
2) Вместе с тем, все же следует заметить, что ИскИн может вытворять такое, что ЕстИну в голову придет только под воздействием психоактивных веществ.
https://fonzeppelin.livejournal.com/259986.html
При этом механизм принятия решений в целом все равно остается малопонятен, так что опасения военных все же понятны. А особенно — опасения американских военных летчиков. Например, вопрос о применении автономным аппаратом тактического ядерного оружия (бомб B61-12) останется открытым еще очень долго.

[fonzeppelin.livejournal.com]

Безусловно. ИМХО, но сначала постараются автоматизировать как раз воздушные бои — потому что они легче всего поддаются алгоритмизации (воздух все же достаточно "прозрачен" и объектов в нем куда меньше, чем на земле), а также потому, что требования к летчикам-истребителям самые жесткие и "дорогие". И создание беспилотных истребителей экономически выгодно.

[pusets.livejournal.com]

Не понял. Дрон, чтобы максимизировать очки, уничтожил единственный истоник этих очков? Что-то в консерватории не то.

[fonzeppelin.livejournal.com]

Именно что "что-то не то". Оказалось, что не было вообще никакого теста, виртуального или реального. А было обсуждение — людьми -возможных и потенциальных рисков военного ИскИна, и пришли к такому гипотетическому сценарию.

[alex-rozoff.livejournal.com]

А кстати — состоялся ли в прошлом году сильно всколыхнувший блогосферу анонсированный ВВС США тестовый воздушный бой между пилотируемым истребителем и AI-беспилотником?
Ка-то тема разгонялась-разгонялась, а затем резко сдулась

[zoth-lm.livejournal.com]

В КНР, по мнению журналистов, состоялся. ИИ WIN!

Только жулили: было два специально созданных для теста (!) беспилотника, один под управлением ИИ, второй под ручным управлением пилота ВВС НОАК.