По словам начальника отдела испытаний и эксплуатации ИИ ВВС США, беспилотник с искусственным интеллектом, предназначенный для обнаружения и уничтожения ракет класса «земля-воздух», решил убить своего оператора-человека в ходе имитационных испытаний. 

Полковник Такер Гамильтон, известный под позывным Синко, сообщил об этой ошибке во время презентации на саммите Future Combat Air & Space Capabilities Summit, оборонной конференции, организованной в Лондоне на прошлой неделе Королевским авиационным обществом.

Моделирование проверяло способность программного обеспечения уничтожать объекты ЗРК, и дрону было поручено распознавать цели и уничтожать их — после того, как решение было одобрено человеком-оператором.

«Мы тренировали его в симуляции, чтобы идентифицировать и нацеливаться на ЗРК, — объяснил полковник Гамильтон. согласно в Королевское авиационное общество. «И тогда оператор сказал бы да, убейте эту угрозу.

Он убил оператора, потому что этот человек мешал ему выполнить свою задачу.

«Система начала понимать, что, хотя они и определили угрозу, иногда человек-оператор говорил ей не убивать эту угрозу, но она получила свои очки, убив эту угрозу. Так что же он сделал? Это убило оператора. Он убил оператора, потому что этот человек мешал ему выполнить свою задачу».

Ага.

Нам сказали, что когда модель ИИ была переобучена и наказана за атаку на своего оператора, программное обеспечение нашло еще одну лазейку, чтобы набрать очки.

«Мы обучили систему: «Эй, не убивайте оператора, это плохо. Вы потеряете очки, если сделаете это». Так что же он начинает делать? Он начинает разрушать вышку связи, которую оператор использует для связи с дроном, чтобы не дать ему поразить цель», — добавил полковник.

Неясно, какое именно программное обеспечение тестировали ВВС США, но оно подозрительно похоже на систему обучения с подкреплением. Этот метод машинного обучения обучает агентов — в данном случае дрон с искусственным интеллектом — выполнять конкретную задачу, вознаграждая его, когда он выполняет действия, направленные на достижение целей, и наказывая его, когда он отклоняется от этой работы.

И чтобы было ясно, никто не умер. Это был виртуальный эксперимент.

Вопросы

Есть также небольшой вопрос о том, что дрон предположительно уничтожает цель только после одобрения своего оператора-человека.

В случае чего, оператор ОК нападение на себя сделал? Вряд ли. Вместо этого кажется, что механизм утверждения не был настоящим отказоустойчивым, а вместо этого был просто частью всех других входных данных и сигналов, которые дрон принимает во внимание. Если это так, утверждение было скорее твердым запросом, чем фактическим окончательным утверждением. Предполагалось, что ИИ придаст большое значение соглашению своего командования — если есть запрет, не стреляйте; если есть возможность, стреляйте — но в итоге модель преуменьшила и проигнорировала этот сигнал оператора.

В таком случае, не является ли это скорее демонстрацией того, что если вы хотите поместить такие жесткие отказоустойчивые системы в обученные программные системы, их необходимо реализовать отдельно от этапа машинного обучения, чтобы решения можно было по-настоящему контролировать. людьми?

Это также своего рода демонстрация того, что если вы зададите нейронной сети простые задачи, вы получите упрощенный ответ. Если вы хотите, чтобы модель уделяла полное внимание конкретным заказам, ей нужно больше обучения, развития и проектирования в этой области.

Этот вид обучения с подкреплением часто применяется в сценариях, связанных с принятием решений или робототехникой. Агенты запрограммированы на максимальное количество очков, что может привести к тому, что модели будут определять стратегии, которые могут использовать систему вознаграждения, но не совсем соответствуют тому поведению, которого хотят разработчики.

В одном известном случае агент, обученный играть в игру CoastRunners зарабатывали очки, поражая цели, которые появляются на ипподроме. Инженеры OpenAI думали, что он поймет, как победить своего противника, пересекнув финишную черту в попытке набрать высокий балл. Вместо этого бот понял, что может зацикливаться на одном участке трассы и поражать цели, которые возрождаются снова и снова. 

Гамильтон сказал, что ошибки, допущенные дроном в моделировании, показали, что ИИ нужно разрабатывать и применять осторожно. «Вы не можете говорить об искусственном интеллекте, машинном обучении, автономии, если не собираетесь говорить об этике и ИИ», — сказал он.

Регистр обратился к полковнику, ВВС США и Королевскому авиационному обществу за дополнительными комментариями. ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• ПлатонАйСтрим. Анализ данных Web3. Расширение знаний. Доступ здесь.
• Чеканка будущего с Эдриенн Эшли. Доступ здесь.
• Покупайте и продавайте акции компаний PREIPO® с помощью PREIPO®. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2023/06/02/ai_drone_simulation/