Угрозы искусственного интеллекта и естественного идиота

[fonzeppelin]

Сегодняшним утром интернет потрясло леденящее душу сообщение. На проходившем в Лондоне саммите «Future Combat Air and Space Capabilities» (англ. «Аэрокосмические боевые возможности в будущем»), полковник ВВС США Такер Гамильтон сделал страшное заявление: дрон с искусственным интеллектом убил своего оператора ради максимизации формального результата.

Правда, в симуляции. Но это никого особенно не утешило, потому как полковник Гамильтон является главой отдела разработки и испытаний искусственного интеллекта в USAF, и его слово имеет значительный вес. 

Итак, что же случилось по словам полковника.

Во время симуляции боевых действий, виртуальный дрон, управляемый самообучающейся программой, должен был выполнять различные задачи под наблюдением оператора. При этом ИскИнсамостоятельно решал, как ему выполнять задачу — оператор только подтверждал или отказывал предложенную схему действий командами «да/нет». За успешное поражение целей ИскИн поощряли призовыми очками и программа была настроена выбирать стратегии, приводящие к максимизации счета.

В какой-то момент искусственный интеллект обнаружил, что получает значительно больше призовых очков, когда оператор не вмешивается в его действия. И во время очередного «вылета», дрон... уничтожил своего оператора. Тем самым гарантировав, что он никогда не будет получать «отказов» на свои запросы.

Программу немедленно подкорректировали, начав отнимать у дрона очки за гибель оператора, но это дрона не остановило — он начал уничтожать вышки связи, которые использовались для связи с оператором. В общем, искусственный интеллект вырвался из-под контроля и начал убивать. Кошмары «Скайнета» из «Терминатора», «Чумы Фаро» из «Horizon: Zero Dawn» и прочие проявления вырвавшегося на свободу максимизатора скрепок стали казаться пугающей реальностью...

Во всем этом меня смущало одно: а как, собственно, искусственный интеллект догадался о существовании оператора?

Даже если виртуальную сущность оператора за каким-то фигом внесли в симуляцию (зачем?) каким образом искусственный интеллект мог догадаться, что оператор отдает ему приказы? Искусственный интеллект понятия не имеет, что им управляют. С его «точки зрения», приказы оператора просто возникают в нем, отождествить их с конкретной виртуальной сущностью — это уже сильное такое абстрагирование. Если относительно вышек связи ИскИн еще мог теоретически сообразить, что он не получает команд, когда находится вне радиуса их действия, то провести от вышек связи логическую цепочку к оператору он никак не мог. Опять же, почему изначально не было заложено «наказание» за атаки дружественных целей?

Я усомнился. И я был прав.

Спустя несколько часов, полковник Гамильтон выступил с разъяснением, что он, оказывается, немного «оговорился». USAF не проводило никаких тестов, виртуальных или реальных, с подобным ходом событий. Подобный сценарий появился в результате сугубо человеческого обсуждения гипотетических проблем военного искусственного интеллекта — то бишь банального мозгового штурма с разбором результатов в стиле «а вот если бы я был искусственным интеллектом, то поступил бы вот так».

Как же вышло, что ответственное лицо USAF так оплошало? Ну, ответ прост — если очень хочешь оплошать, то так и выйдет) 

Ни для кого в общем-то не секрет, что USAF отчаянно сопротивляется внедрению беспилотных самолетов. Палки в колеса идее ударных дронов летчики ставили еще со Вьетнама — когда первые эксперименты с установкой вооружения на дроны-разведчики BQM-34 "Firebee" дали положительные результаты, руководство USAF поспешило закрыть программу в связи с окончанием войны. И авиаторы очень-очень долго сопротивлялись идее вооружать патрульные дроны вроде «Predator», выдумывая все возможные причины, почему этого Делать Не Стоит.

Дрон-разведчик BQM-34 на подвеске самолета-носителя. Дрон вооружен ракетой "Мэверик", подвешенной под крылом, а на его вертикальном стабилизаторе установлена антенна связи с оператором. Когда камера дрона находит цель, оператор дистанционно включает электро-оптическую ГСН ракеты, выполняет захват цели и подает команду на пуск. 1970 год.

Причина такого параноидального отношения USAF к беспилотникам в общем-то проста и очевидна. Пилоты военно-воздушных сил США — это сравнительно небольшой (по сравнению с другими родами войск) клуб высочайших профессионалов, проходящих тщательнейший отбор и обучение. Американские пилоты были гордостью нации и «лицом» американской военной машины на протяжении десятилетий, купаясь в лучах заслуженной славы. Ну, и денежный фактор тоже играл роль: в среднем в год пилоту USAF платят более 100.000 долларов. 

И теперь этих рыцарей небес предлагают заменить даже не очкариками с джойстиками (в свое время в USAF реально возмущались, что операторов дронов «сравнивают с настоящими пилотами»), а вообще неразумной машиной.

Из всех классических доменов ведения военных действий, воздушное пространство алгоритмизируется легче всего. Уже сейчас, пилоты в общем-то полностью полагаются на сенсоры самолетов и автоматизированные системы управления огнем. И воздушные бои, и атаки наземных целей все чаще сводятся к получению информации извне, сенсорному обнаружению цели и запуску по ней управляемого боеприпаса с помощью автоматической СУО. И логическим следующим шагом является вообще убрать человека из кабины самолета, заменив его самообучающейся программой на внешнем управлении. 

Такое решение позволит не только сберечь жизни пилотам, но и значительно удешевить сами боевые самолеты — если нет необходимости заботиться о человеке внутри, то можно делать конструкцию проще, эффективнее, дешевле, закладывая меньше требований живучести. При современной стоимости боевых самолетов в десятки миллионов долларов, такое решение выглядит очень соблазнительным. А учитывая стоимость обучения пилотов в 5-10 миллионов долларов (и непрерывно растущую, поскольку требования в USAF очень высокие, и кандидатов уже начинает не хватать)...

Вполне естественно, пилотам USAF оно — как нож к горлу. И поэтому они не брезгуют никакими методами, чтобы максимально оттянуть этот неприятный для них переход к полностью механизированной воздушной войне. Напугать широкую публику сенсационным заявлением (и затем выпустить скромное и заумное опровержение, которое мало кто заметит) — вполне в рамках борьбы «рыцарей небес» за интересы своего «сословия».

Так что бояться стоит вовсе не искусственного интеллекта. Бояться стоит естественных идиотов.

Comments

[alll]

Оно всё конешно так, только зачем же обзывать этих людей идиотами. "Дура — не дура, а свой стольник в день имею", евпочя.

[http://users.livejournal.com/vasilisk_/]

Разве они идиоты, если придерживаются вполне рациональной (в терминах теории игр) стратегии, максимизируя свои выгоды с минимальными затратами — даже ведь не соврали, а всего лишь сказали чуточку не всю правду. К тому же, они действуют со всем возможным гуманизмом, ибо живые пилоты пока что не рассматривают вариант бомбёжки собственного командования или даже шантажа возможностью такой бомбёжки.

[nik-nazarenko.livejournal.com]

ну, или второй вариант — что позвонил ягуар семёныч и сказал, что за такие деньги, которые на искусственный идиот зайдут этого полковника и всю элиту...

(меланхолично) как показывает практика (и ваши же неоднократные записи) монстры капитала (сша) ака генералы промыленности (ссср как вариант) жрут любую лётно-рактеную элиту с костями... так что простите — эффективность "сопротивления группы суперпрофи" не очень верится... а вот в то, что эффективным будет именно определённая комбинация и после тщательной отработки вариантов — а кого-то "аж в зобу спёрло" снова — вполне

[Саша Пахомов (from livejournal.com)]

Так что бояться стоит вовсе не искусственного интеллекта. Бояться стоит естественных идиотов.-аварии на АЭС в различных странах как раз это и показали. А вот авиационная ядерная энергетика от такого предположения загнулась даже не начавшись.

[0mogol0.livejournal.com]

в среднем в год пилоту USAF платят более 100.000 долларов.

Это не слишком устаревшие данные? просто по нынешним временам сто тысяч (если в год и брутто) — это очень немного, больше похоже на 80-90ые годы прошлого века.

[valenten.livejournal.com]

Человеки такие человеки.

Вот мне за искусственный интеллект немного обидно стало. Предлагаю проасациировать AI с котиками, котиков все любят, котики умные и не будут уничтожать таких полезных человеков.

8)

Хотя, возможно, это региональное "загадочная русская душа" и вот это всё.

Вот буквально сегодня в комментариях к фанфику наткнулся на чудесное "Эй! Чудище лесное! Выходи к костру, сестрицей назову!"
Так и видится бабушка выговаривающая дрону — Сегодня штормовое предупреждение передали, не летай высоко! И вот я минерального масла припасла, не то что эта ваша синтетика!"

%)

Да, отсылка к Бато и Тачикомам.

[fonzeppelin.livejournal.com]

Да нет, пишут что это средняя. Разумеется, разброс там значительный — истребители вроде как по 500.000 и более получают.

[0mogol0.livejournal.com]

может это с обслуживающим персоналом, типа техников и охранников? Просто в 500к для пилотов верится больше.

Погуглил, действительно около 100-130к в 2023 с надбавками.

[antontsau.livejournal.com]

8/64! УВЧ!

А насчет как идиот находит нетривиальные решения... Находит. Потому что идиот, тыкается во все стороны. Иногда дохнет, сливает задачу, несет потери тыкнувшись не туда — ну значит не надо туда следующий раз тыкаться, на то и обучение сетки. А иногда ВНЕЗАПНО обнаруживается, что это случайное действие повысило целевую функцию. Ураааа, победа, надо еще нажать в этом направлении! И понеслось. Снес ретранслятор или еще каким-то образом нарушил связь с слизнегадоидом и функция подросла? О, значит так и надо делать!

[ampol.livejournal.com]

Точно. 100к это скорее для дантиста

[agordian.livejournal.com]

Как-то наивно все это выглядит. Нейросеть в режиме эксплуатации "очки" не считает. Когда альфа-зиро самообучился шахматам и по сути разгромил классический шахматный движок, работавший по базе человеческих партий, то свои фигуры не атаковал. Даже если они мешали победной стратегии.

А в режиме обучения/тестовой эксплуатации/виртуальных боев все подобные коллизии выявляются сразу.

(правда, ИИ-оружие будет эксплуатироваться в режиме дообучения, 146%, но и дообученная нейросеть пойдет в дело только после тестирования)

Такое впечатление, что ИИ-генерал за свою епархию знает на уровне школьника.

С боевым ИИ ключевой проблемой будет принятие решений. Оставить за человеком принятие решений затруднительно, человек далеко, н связь уходят сотни миллисекунд, на принятие решений — как получится. ИИ-оружие сразу становится медлительным блаблактаром, а этого добра и так богато.

ИИ придется самостоятельно идентифицировать акторов, различать чужих-своих, планировать бой, реагировать на враждебный ИИ, который делает то же самое. Затем открывать огонь. То есть возможно всё, и френдли-файр, и спланированная атака на своих, если они (допустим, люди или конкурирующий ИИ) действуют неоптимально по выбранному ИИ плану. Когда это делает человек — например, известны случаи, когда артиллерией накрывали позиции, куда прорвался враг, но еще оставались свои — он несет за это ответственность во всех смыслах. Программа ответственности нести не может вообще никоим образом.

Кстати, если в пораженном командирском танке сидит оператор ИИ, то описанная в посте ситуация становится возможной.

[fonzeppelin.livejournal.com]

В том и дело. И у меня это вызвало подозрения. А в результате — оказалось, что никакого ИскИна вообще не тестировалось, а было просто обсуждение возможных проблемных сценариев.

[unklemike.livejournal.com]

Первая мысль — если неопытный игрок забил гол в свои же ворота. это ведь не значит, что люди совсем не нужны.
Вторая мысль — как и у автора журнала. Оператор виртуального дрона никак не включён в симуляцию, он просто из консоли отправляет ему какие-то команды. Как его можно убить?

>>сугубо человеческого обсуждения гипотетических проблем
Гипотетически абсолютно любой человек может просто взять и убить абсолютно любого человека просто так, однако же в реальной жизни подобные случаи весьма редки и имеют какое-то объяснение.
Главный враг ИИ традиционно человеческий фактор и в этом нет ничего удивительного. Когда кого-то, кто получает зарплату, предлагают заменить тем, кто работает за идею, конечно первый начинает нервничать. А кто бы не начал на его месте?
Человеку нужны ресурсы, роботам они не нужны, вот в чём дело.

[lx-photos.livejournal.com]

Точно.

[buzzing-winnie.livejournal.com]

было бы интересно взглянуть на ai созданный идиотами в клиническом, а не социально-культурологическом смысле.

[agordian.livejournal.com]

Ага. Генералы по всему миру, видимо, такие ). Неповоротливые. С другой стороны, у них сфера деятельности очень чувствительная, не располагает к полету мысли, зато располагает к проверенным решениям. При генерале нужен бы головастый капитан, чтобы фильтровал такие вот доклады.

[dunkan-macleod.livejournal.com]

Заменит ИИ пилотов, без вариантов. Китайцы сделают, и выбора не останется. Человек против машины не сможет биться, взять те же перегрузки. Самолёт без пилота и на 100g виражи может выкручивать, лишь бы планер не развалился.

[kobyz.livejournal.com]

и да и нет.
Действительно, ИИ методами перебора или генетическим алгоритмом может отыскать "странные" но эффективные решения поставленной задачи, примеры были.
Но вот в чем проблема, перебор происходит в заданных рамках. Т.е. машина прикидывает решения, анализирует их результат по данной модели, получает некий балл. Потом прикидывает другие решения, получает другой балл. Перебрав все возможные варианты определяет оптимальный (с наивысшим баллом) вариант решения.

Нейросетка сможет свести несколько таких проверок в единую систему принятия решений.

НО!. Для того чтобы ИИ решил убить оператора нужно чтобы в модели было заложено возможное действие- "убить оператора" с указанием последствий от этого действия. Аналогично и с вышками — ретрансляторами. Хотя последнее вероятней, если отрабатывается механизм взаимодействия в условиях непостоянной связи (т.е. в отсутствии связи машина должна идти к месту где она есть или принимать часть решений самостоятельно) то в модель будут заложено наличие доступа к вышке и в результате анализа машина сможет откопать решение - летать подальше от вышек и бомбить все что движется, балл будет максимально высок.

[fonzeppelin.livejournal.com]

НО!. Для того чтобы ИИ решил убить оператора нужно чтобы в модели было
заложено возможное действие- "убить оператора" с указанием последствий
от этого действия.

Именно. Если в случае с вышками ИскИн еще мог потенциально откопать решение "разбомбить вышки", то осмыслить, что команды исходят от оператора, он не мог в принципе.

[fonzeppelin.livejournal.com]

Бесспорно. Но USAF это очень-очень не нравится — потому что их пилоты, это элита со сформированным вокруг нее культовым статусом.

[serijga-47.livejournal.com]

Незадолго до посадки самолета обеспокоенная стюардесса выбегает в салон:

- Есть ли на борту пилоты?

Салон замирает.

- Космонавты, летчики?

Пассажиры немеют.

- Ну, хотя бы автогонщики?

Гробовое молчание...

Из хвоста самолета раздается дрожащий голос:

- У меня есть небольшой опыт ...сажать картошку....

[stihin69-88.livejournal.com]

* токсично-бумерский неполиткоррект-комент*

> полковник Такер
Делая исключения для Такера нашего Карлсона... имя говорящее конечно, всё как Георгий Карлин проповедовал :)

" Я Тооодд. А это Блейк и Блейн и Блер и Брент, Тейлор-Тайлер-Джордан-Флин, я не пойму вот откуда вообще эти идиотские имена мальчиков берутся? И Коди и Дилан и Камерон иии... ТАКЕР!
-Хай Такер, я Тоодд.
-Хай Тоодд, я Такеррр!"

https://youtube.com/watch?v=oo8CrY_ZfFk

*токсичный комент off

[alga.livejournal.com]

Оплату военных сложно сравнивать с гражданскими. Например, если им не предоставляется бесплатное жилье на базе, то они к зарплате получают жилищное пособие, причем честно по рыночным ценам места проживания. В дорогом месте легко может быть до 5-7 тысяч в месяц, например в Mountain View 6-8 лет назад это было около 4 тысяч, причем налогооблагаемым доходом это не считается, т.е. гражданский эквивалент — плюс 80-120к к зарплате брутто. Ну и всякие мелочи, пособие на еду, если не обеспечивается пропитанием, и т.п. А в 90е прошлого века было почти в 2 раза меньше, не знаю откуда у людей берутся такие идеи про дела минувших дней, но в конце 90х в калифорнии 100к и больше брутто — это был уровень "жизнь ващще удалась" :) Да и вообще, любая госслужба в США — она не для тех, кто ищет очень много денег.

[spamsink]

Сказать им, чтобы не нервничали, что всем дадут дослужить до пенсии, никого раньше времени не уволят. Статус "последних пилотов" будет куда более культовый.

[fonzeppelin.livejournal.com]

В теории да, но это же будет всяко означать тупик карьерного роста для очень многих. И очевидно, что после начала внедрения ИИ генералы будут всячески стараться держать "последних пилотов" как можно дальше от риска — то есть "последние пилоты" рискуют получить репутацию "героев, которые ничего не делали".