Ответственный выбор в отношении автономного оружия и искусственного интеллекта военного времени Международный комитет Красного Креста собирает экспертов для углубления понимания международного гуманитарного права, поскольку автономное оружие и военное применение ИИ становятся актуальными региональными и глобальными проблемами. В мае была опубликована новая институциональная позиция по автономным системам вооружения, в которую были включены материалы на русском языке. Искусственный интеллект уже улучшает повседневную жизнь, от навигации и фильтрации спама до медицинской диагностики и прогнозирования стихийных бедствий, и может помочь предотвратить смертельные случаи. Однако эти технологии поднимают сложные юридические, этические и гуманитарные вопросы, требуя от общества принятия решений о роли машин в выборе между жизнью и смертью и оперативного обсуждения на государственном уровне ограничений.
Гибридные протоколы круглых столов, перевода и вопросов и ответов Количество участников в зале ограничено из-за пандемии, поэтому дополнительные участники присоединяются через две онлайн-платформы. Синхронный перевод обеспечивает четкость перевода на русский и английский языки, а выступающих просят поддерживать постоянный темп. Вопросы собираются в чате и рассматриваются после каждой секции, чтобы сэкономить время для обсуждения. Мероприятие транслируется в прямом эфире, записывается, редактируется и позже публикуется для расширения доступа.
От дистанционного управления до датчиков, решающих убить Государства вкладывают значительные средства в автоматизацию беспилотных летательных аппаратов, роботов, подводных лодок и танков, способных выбирать цели и атаковать их без участия человека. Многие системы, управляемые сегодня дистанционно, вскоре могут запускаться исключительно с помощью датчиков и программного обеспечения. В качестве примеров можно привести беспилотные транспортные средства с автоматическими пулеметами, роботов на контрольно‑пропускных пунктах, управляемых датчиками, и стаи беспилотных летательных аппаратов. Такая траектория ставит под угрозу мир, в котором алгоритмы решают, кому жить, а кому умереть.
Война в городах увеличивает риски неправильной идентификации и эскалации Современные конфликты в основном разворачиваются в городах, в условиях плотной застройки, где практически нет места для маневра. Автономные системы могут ошибочно принять семейный автомобиль за военный, а гражданское лицо - за солдата. Даже когда они поражают намеченные цели, ущерб гражданскому населению и основным службам может быть трудно предвидеть и смягчить, как того требует закон войны. Большая автономия ускоряет нанесение ударов и контрударов, делая реальной возможность потери контроля со стороны людей.
Обязывающий договор о запрещении и регулировании автономного оружия Операторы автономного оружия не могут быть уверены, что они поражают только военные цели или что риски для гражданского населения должным образом взвешены. Разработчики цифровых технологий предупреждают, что машины никогда не смогут действовать по-настоящему человечно, как бы хорошо они это ни имитировали. Чтобы избежать того, чтобы датчики или точки сбора данных, такие как номерные знаки, приводили в действие смертоносную силу без участия человека, правительства должны действовать немедленно. Непредсказуемое автономное оружие должно быть запрещено, использование автономного оружия против людей - запрещено, а все остальные виды оружия должны строго регулироваться.
Объединение автономии и искусственного интеллекта для снижения потерь в войне Автономное оружие и искусственный интеллект - это разные области, которые на практике сильно пересекаются. Цель обсуждения - определить, где в одной области необходимы ограничения для сдерживания другой и где технологии могут уменьшить потери. Гибкий подход позволяет составить более полную карту рисков, возможностей и гарантий.
Определение военного ИИ и его стратегические перспективы В военном обиходе ИИ обозначает модели и системы, имитирующие интеллектуальную деятельность человека, для применения в вооруженной борьбе. Исследования охватывают множество направлений, включая те, которые имеют отношение к ракетным войскам стратегического назначения. На стратегическом уровне автономия и искусственный интеллект могут принести больше пользы, чем вреда, повышая надежность систем, которые лучше всего никогда не использовать. Эта концепция создает основу для конкретных приложений и их последствий.
Надежность, техническое обслуживание и защищенные ядерные цепи C2 Логистика с поддержкой искусственного интеллекта и прогнозируемое техническое обслуживание повышают надежность системы и обеспечивают своевременное обслуживание критически важных вооружений. Автоматизированные системы управления ядерными силами должны гарантировать передачу приказов даже в условиях радиоэлектронной борьбы и сбоев компонентов. Вмешательство в такие системы будет восприниматься как максимально угрожающее и чреватое эскалацией. Поэтому обсуждения сосредоточены на том, как защитить их, а не на раскрытии их конструкции.
Сдерживание, автоматизация и потребность в обученных людях Уверенность в возможности нанесения ответного удара стабилизирует сдерживание, в то время как автоматизация помогает избежать непреднамеренных запусков. Окончательные решения принимаются людьми, но чрезмерная уверенность в автоматизированной поддержке может помешать принятию реальных решений. Высококачественная подготовка, включая юридическую подготовку, жизненно важна для офицеров и операторов.
Многолетняя автономность в ракетной и противовоздушной обороне Маневрирующие спускаемые аппараты, гиперзвуковые планирующие системы и особенно противокорабельные крылатые ракеты уже давно работают со значительной автономией на борту. Противовоздушная и противоракетная оборона должна реагировать со скоростью, превышающей возможности человека, что требует от машин принятия решений. Эта необходимость сопряжена с серьезными рисками, о чем свидетельствуют случайные крушения гражданских авиалайнеров. Обязательными являются тщательная подготовка операторов и понимание ситуации.
Кодифицированная система безопасности на удаленных боевых постах Удаленная орудийная башня, охраняющая стратегические объекты, технически может работать автономно, но всегда с оператором. Ее первый выстрел в воздух кодируется как предупреждение, но не из сострадания, а потому, что этого требует устав караульной службы. Разработчики отмечают, что люди-часовые также могут нарушать процедуры, однако встроенные правила ограничивают поведение системы. Таким образом, письменное управление может формировать действия машин более надежно, чем предположения о поведении человека.
Успехи в разведке и компенсирующее их стремление к скрытности Искусственный интеллект обещает более точную разведку и наведение на цель, что вызывает опасения по поводу постоянной видимости ядерных сил и мгновенного выполнения задач. Постоянная борьба между обнаружением и маскировкой продолжается, и те же инструменты улучшают скрытность и планирование патрулирования. Программное обеспечение может оптимизировать маршруты и поведение, чтобы избежать использования современных датчиков. Соревнование "меч и щит" вряд ли закончится.
Высокоточная автономность снижает мощность и снижает эффективность противоракетной обороны Автономность и запрограммированные маневры позволяют оружию большой дальности и высокой скорости определять цель без постоянной связи. Более высокая точность позволяет снизить мощность взрыва и добиться более четкого воздействия. Оперативное бортовое наведение улучшает прохождение систем противоракетной обороны, реагируя на угрозы на пути следования. Эти изменения меняют возможности, не обязательно создавая новые категории риска.
Автономные подводные беспилотники и неурегулированное морское законодательство Автономный подводный аппарат большой дальности действия может пересечь океан и разрушить прибрежный город, что потенциально может привести к радиологическому загрязнению. Его задачи шире, чем этот единичный сценарий, что отражает более широкую эволюцию в направлении создания многоцелевых подводных беспилотников. Юридический статус этого устройства в соответствии с морским правом обсуждается: является ли оно военным кораблем, миной или чем-то еще. Автономность в подводном положении важна, поскольку быстрые операции на глубине затрудняют связь. Эти особенности усложняют как регулирование, так и правила ведения боевых действий.
Стратегическая неопределенность, программы великих держав и прозрачность Достижения одновременно повышают живучесть войск, а также способность обнаруживать противника и определять цели, что делает конечные результаты неопределенными. Крупные программы в Соединенных Штатах и Китае ускоряют эту динамику. Самая серьезная опасность заключается в неправильном понимании намерений и возможностей противника. Большая прозрачность в отношении направлений развития может снизить уровень паранойи и стабилизировать ожидания.
Искусственный интеллект как интегратор человеко–машинной цивилизации Технологии, как правило, переходят из сферы обороны в гражданскую жизнь с разной скоростью в разных странах. Искусственный интеллект выступает в качестве “завершающей” цифровой технологии, которая запускает каскад преобразований, ведущих к новому технико‑экономическому порядку в обществе. Ближайшее будущее характеризуется тремя основными этапами: доминированием человека, балансом между человеком и машиной и, в конечном итоге, доминированием машин. Каждый этап отражает изменения в объеме знаний и интеграции между людьми и машинами.
Следующие 5-10 лет: Коммерциализация слабого искусственного интеллекта Наиболее надежным методом прогнозирования является отслеживание проектов со значительным государственным, частным и венчурным финансированием. Сегодня деньги в основном идут на коммерциализацию слабого ИИ — машинного зрения, диалоговых интерфейсов и систем поддержки принятия решений. Сильный ИИ по-прежнему используется в фундаментальных исследованиях. Ожидайте появления большого количества гаджетов и приложений, основанных на существующих технологиях машинного восприятия и диалога.
10-20 лет: Искусственный интеллект на уровне человека и промышленные роботы с психикой Искусственный интеллект человеческого уровня с искусственной психикой позволил бы рациональным роботам широко интегрироваться в повседневную жизнь и массовое производство. Только с такой психикой роботы смогут в полной мере дополнять людей на заводах. Это знаменует собой эру глубокого искусственного интеллекта. Широкое внедрение меняет динамику труда и сотрудничества.
20-40 Лет: Коллективный машинный интеллект обгоняет нас Коллективный машинный разум будет отличаться от человеческих коллективов тем, что будет обмениваться данными и технологиями с гораздо большей скоростью и легкостью. Его общие знания могут значительно превышать возможности человека. Отношения между человеком и машиной и модели управления должны развиваться соответствующим образом.
Роящиеся дроны: архитектура и преимущества В рое каждый беспилотник управляется встроенной автоматикой, а общее поведение управляется программным обеспечением с поддержкой искусственного интеллекта или несколькими операторами. Концепция привлекла широкое внимание благодаря вирусному видеоролику “дроны-убийцы”, который использовался в политических дебатах. Рои снижают общую стоимость платформы за счет распределения полезной нагрузки по нескольким корпусам. Взаимная локализация улучшает позиционирование, а многоракурсное зондирование улучшает результаты. Распределение задач между участниками также снижает потери от аварий.
Узкие места в программном обеспечении и вычислениях для внедрения роя Рои требуют значительных вычислительных мощностей на борту каждого самолета. Новые типы программного обеспечения для управления все еще находятся на ранней стадии разработки и не достигли полной зрелости. Тесная интеграция между программным обеспечением для управления роем и полезной нагрузкой встречается редко, но желательна. Эти пробелы ограничивают эффективность в краткосрочной перспективе.
Применение на поле боя: Улучшенная разведка и борьба с роем Рои могут повысить надежность разведки и целеуказания за счет увеличения числа наблюдательных пунктов. Они также могут оказаться эффективными против враждебных роев. Исследования и эксперименты в этом направлении проводятся в США с 2017 года.
Кибербезопасность, различные этические нормы и неизвестные варианты использования Интеллектуальные распределенные системы повышают риски кибербезопасности, в том числе связанные с уязвимостями на борту. Различные этические нормы в ведущих странах-производителях влияют на поведение систем искусственного интеллекта и их последующую корректировку. Разработчикам часто не хватает ясности в отношении условий эксплуатации на этапе проектирования. Четкие критерии корректности должны быть установлены на ранней стадии разработки. Эти проблемы указывают на необходимость разработки общих стандартов.
Призыв к созданию единого глобального кодекса этики искусственного интеллекта Единый этический кодекс разработки ИИ послужил бы руководством для всех разработчиков по всему миру. Общие правила могли бы привести системы в соответствие с гуманными целями, одновременно способствуя инновациям. Будущее принадлежит людям со сложным умом и большими, добрыми сердцами, которые устанавливают такие стандарты.
Ответственность человека лежит в основе развертывания военного ИИ Элементы искусственного интеллекта уже давно внедрены в российские вооруженные силы, что является технологической революцией, которую необходимо использовать эффективно и безопасно. Технологическое превосходство должно сочетаться с физической и юридической подготовкой персонала, действующего в рамках моральных и правовых норм. Люди должны быть в курсе событий, потому что только они несут юридическую ответственность. Это соответствует как международному, так и национальному законодательству.
Интеграция в космосе, воздухе и на земле на базе искусственного интеллекта В космосе требования сместились от передачи исходных данных в режиме реального времени к предоставлению обработанной информации, распознаванию целей и готовым решениям для определения вероятных целей. Такая масштабная обработка данных на борту невозможна без искусственного интеллекта и в настоящее время является полем интенсивной глобальной конкуренции. В воздухе платформы, подобные системе АВАКС, превратились в многофункциональные воздушные командные пункты, способные контролировать обширные регионы. Российские вооруженные силы используют целый ряд беспилотных летательных аппаратов в общевойсковых подразделениях, что позволяет осуществлять операции в едином информационном пространстве, объединяющем космические, воздушные и наземные данные. В России все функции ИИ могут быть делегированы, за исключением команды на уничтожение и наведение на цель, которые остаются решениями человека.
Точность, ограничения и юридическая подотчетность Усовершенствованная разведка и выбор целей усиливают защиту гражданского населения, сводя к минимуму ошибки. Высокоточные системы обеспечивают точные координаты и более эффективные удары, чем те, которые наносит человек. Хотя промышленность может выполнить практически любой заказ, национальное законодательство, приведенное в соответствие с международными нормами, запрещает системы, предназначенные для автономного уничтожения. Решения остаются за операторами, которые несут юридическую ответственность за использование, а эксплуатирующее государство несет ответственность на суверенном уровне.
Обязанности МГП по обеспечению предосторожности определяют использование автономии Широко применяемое международное гуманитарное право остается основой для новых средств и методов ведения войны. Статья 57 Дополнительного протокола I требует от тех, кто планирует или принимает решение о нападениях, проверять, что цели не являются гражданскими, избегать случайных потерь среди гражданского населения, воздерживаться от непропорциональных нападений, отменять или приостанавливать их, когда становится очевидным противоправность, и по возможности заблаговременно предупреждать. Эти обязательства налагаются на людей, использующих роботов. Предсказуемость важна; военные не будут использовать системы, которые они не могут предвидеть, и, возможно, технически возможно запрограммировать роботов на соответствие требованиям, по крайней мере, в ограниченных контекстах. Субъективные суждения остаются за пределами ИИ, поэтому необходимо осмысленное взаимодействие человека и машины; простого “нажатия кнопки” человеком недостаточно.
Меры предосторожности в отношении роботов, умение командовать и общая ответственность Роботы обладают преимуществами: они не могут ненавидеть, насиловать или проявлять предвзятость, если это не запрограммировано, и могут быть сконфигурированы таким образом, чтобы принимать дополнительные меры предосторожности, в том числе избегать неоправданных рисков для дружественных сил. То, что “практически возможно”, зависит от дизайна и программного обеспечения, поэтому выбор разработчиков играет центральную роль в соблюдении мер предосторожности. Планировщики, программисты и операторы разделяют обязанности: в кодекс должны быть включены законные ограничения, контроль должен поддерживаться, а автономия не может быть постоянной, поскольку пропорциональность и конкретное военное преимущество требуют решения командира. “Очевидность” для отмены или приостановки атак требует наличия датчиков и потоков данных, которые позволяют людям распознавать, когда цели являются незаконными или риски чрезмерны. Существующие нормы могут применяться к системам с поддержкой искусственного интеллекта, даже если новые технологии создают для них проблемы, и эта реальность подчеркивается опасениями по поводу стратегической стабильности и необходимостью тщательного юридического анализа новых вооружений.
Статья 36 Обзоры и место искусственного интеллекта Международное гуманитарное право требует проведения юридической экспертизы новых средств и методов ведения войны, и статья 36 четко определяет эту обязанность. Искусственный интеллект стирает грань между оружием и методом, но в любом случае влечет за собой обязательства по пересмотру. Ожидается, что государства объяснят, как они проводят эти проверки, но прозрачность и соблюдение остаются неравномерными. Для адаптации оценок на протяжении всего жизненного цикла системы необходим постоянный диалог между разработчиками и юридическими органами.
Защита человеческого суждения в условиях доверия к ИИ Поскольку ИИ ускоряет восприятие и анализ, человек, работающий в этом направлении, рискует превратиться в простого нажимателя кнопок, который полагается на результаты работы машины. Обучение должно способствовать развитию сомнений и критического анализа, чтобы операторы не слишком полагались на свои силы. Добровольная публикация национальных обзорных практик может укрепить доверие без ущерба для безопасности. Включение ИИ в повестку дня в области контроля над вооружениями свидетельствует об ответственности и может стабилизировать нестабильную ситуацию.
Краткосрочные пределы автономии и ответственность человека Неограниченная автономия, которая обходится без участия людей, ограничена бюджетами, техническими задачами и текущими требованиями к дизайну. Определение законных целей по-прежнему требует принятия решений о статусе участника боевых действий и защите тех, кто не участвует в боевых действиях. Согласно этой политике, оператор является лицом, принимающим решения, с тщательной психологической, моральной и юридической подготовкой. Ответственность за использование остается как на операторе, так и на государстве.
Дилемма проверки автономии Системы противовоздушной обороны и другие системы могут работать в автоматическом режиме, однако окончательные решения о нанесении удара принимаются для подтверждения человеком. Сторонние наблюдатели не могут достоверно подтвердить, был ли данный удар автономным или управляемым. При отсутствии надежной проверки переговоры о доверии и контроле над вооружениями терпят неудачу. Надежный метод сертификации режимов управления остается труднодостижимым.
Радиоэлектронная борьба выявляет пробелы в Управлении Из-за помех, которые прерывают связь с системой управления, возникает вопрос о том, сможет ли система продолжать выполнять свою миссию автономно. Различия между боеприпасами и крылатыми ракетами усложняют оценку контроля. Предложения по сдерживанию распространения путем ограничения учебных наборов данных сталкиваются с непрозрачным исполнением. Историческая утечка информации о строго контролируемых ядерных и ракетных технологиях предвещает проблемы с проверкой данных искусственного интеллекта.
Технические меры по смягчению последствий и роль человека в принятии решений Шифрование, переключение каналов, защита от подмены и процедуры перехвата могут восстановить безопасное управление даже после сбоя. Системы могут по умолчанию работать в безопасном режиме, возвращаться к исходному состоянию или возвращать управление при восстановлении связи. Несмотря на автоматизацию, выбор цели по-прежнему остается за оператором. Главным вопросом остается то, насколько полно полномочий по принятию решений действительно принадлежит человеку.
Конкурирующие модели ответственности за ущерб, причиненный ИИ Регулирование касается правового статуса ИИ, который не имеет законодательного определения. Подходы варьируются от предоставления прав на ИИ до обращения с ним как с животным, у которого есть хозяин, и возложения ответственности на разработчика, владельца или оператора. Практический консенсус в пользу ответственности тех, кто разрабатывает, внедряет и использует системы, в зависимости от того, где был нанесен ущерб. Неурегулированность определения ИИ затрудняет разработку четких обязанностей и санкций.
Человеческий контроль и неизбирательный ущерб как основные проблемы В ходе дискуссий было проведено различие между общим ИИ и автономными системами вооружения, в то же время было признано их взаимодействие. Основными задачами являются сохранение значимой роли человека, предотвращение неизбирательных нападений и ограничение использования против людей при неприемлемом уровне автономии. Стремительные технологические изменения усиливают требования к более быстрому правовому регулированию. Основное внимание по-прежнему уделяется эффектам и соответствию требованиям, а не абстрактной индивидуальности машин.
Ответственность оператора и обновления доктрины В существующих военных инструкциях по применению МГП ответственность оператора является основополагающей, хотя некоторые документы нуждаются в обновлении. Цель будущих изменений - отразить опыт и уточнить использование ИИ, не перекладывая ответственность на людей. Государство и его операторы несут ответственность за развертывание и последствия. Ожидается, что альтернативные концепции ответственности не заменят эту основу в ближайшее время.
От перерыва к возобновлению обсуждения Дискуссия завершается структурированной программой, посвященной этике, международному диалогу, институциональным позициям и цифровым технологиям на войне. Вопросы, задаваемые как при личной встрече, так и онлайн‑аудиторией, включены в программу. Синхронный перевод обеспечивает общее понимание на разных языках. Формат поддерживает комплексное изучение юридических, этических и технических аспектов.
Запрет маловероятен, Соблюдение Возможно, Достоинство превыше всего Запрет на автономные системы летального действия считается нереалистичным в нынешних геополитических и технических условиях. Должным образом спроектированная автономия могла бы соответствовать МГП в большей степени, чем люди. Решающее обоснование для регулирования или ограничений основывается на человеческом достоинстве, а не на ошибочности машин. Политика должна сохранять достоинство, даже если машины могут превзойти нас в соблюдении правил.
Дефицит доверия и непроверяемая автономия Существуют технические способы регулирования автономности, но взаимное недоверие препятствует достижению соглашения. Проверка не может надежно определить, становится ли неавтономное программное обеспечение автономным в критический момент. Ограниченный диапазон связи и радиоэлектронная борьба создают стимулы для разработки независимого программного обеспечения. Отсутствие безопасности стимулирует параллельную разработку даже среди участников, не желающих этого.
Сетецентрическая конвергенция способствует автоматизации Военные компании переходят к облачным сетям с поддержкой 5G и IoT, которые объединяют датчики и стрелков. Объединение данных позволит автоматизировать задачи от обнаружения целей до логистики и эвакуации пострадавших. По мере того, как рутинные решения переходят к машинам, люди становятся уязвимыми точками отказа. Со временем роль человека сводится к надзору на более высоком уровне, в то время как автоматизация расширяется.
Уроки, извлеченные из конфликта с применением беспилотников Недавний анализ конфликтов показывает, что большинство нарушений МГП связано с устаревшими системами, такими как артиллерия, баллистические ракеты и неуправляемые бомбы. Операции беспилотников были легко отслеживаемы и в зарегистрированных случаях не приводили к документально подтвержденным нарушениям МГП. Эти беспилотники управлялись операторами, однако статус автономности не может быть подтвержден извне. Прозрачность и прослеживаемость стали преимуществами по сравнению с оружием двадцатого века.
Оцифровка различий, пропорциональности и мер предосторожности Основные принципы МГП — различение, соразмерность, меры предосторожности и запрет на причинение ненужных страданий — могут быть формализованы в алгоритмах. Соразмерность включает количественные элементы, которые поддаются вычислению. Машины могли бы применять эти ограничения более последовательно, чем подверженные ошибкам люди. Внедрение таких наборов правил открывает путь к более строгому соблюдению требований по замыслу.
Автономность обучения в сценариях, связанных с МГП Тестовые среды могут подвергать системы сложным этическим и юридическим испытаниям, сродни испытательным полигонам для гражданских автономных транспортных средств. У военных уже есть полигоны для учений по воздушной, наземной, морской и противовоздушной обороне. Структурированные сценарии могут содержать правила МГП для машинного обучения и валидации. Профессиональный консенсус может сформировать учебные программы, которые превратят закон в проверяемое поведение.
Сжатые сроки и риски чрезмерного доверия Автоматизация сокращает циклы принятия решений, вынуждая людей принимать данные, сценарии и рекомендации, подготовленные искусственным интеллектом. При многократном воздействии операторы склонны переоценивать свою автономию и отключаться, даже если они формально находятся в рабочем состоянии. Такой поведенческий дрейф подрывает эффективный контроль в критические моменты. Разработка системы и обучение должны противодействовать самоуспокоенности и сохранять потенциал для вмешательства.
Человеческое достоинство как черта, которую нельзя переступать Достоинство устанавливает правовые и этические границы: оно воплощает уважение к личности и праву на жизнь. Основополагающие документы — от Устава ООН и пактов о правах человека до Клаузулы Мартенса — утверждают гуманность и общественное сознание. Сохранение за человеком контроля над решениями, касающимися жизни и смерти, защищает эти ценности. Даже если машины превосходят нас в техническом плане, достоинство требует, чтобы люди несли ответственность.
Процесс по КНО от консультаций до группы экспертов КНО начала неофициальные консультации в 2013 году, а затем в 2016 году формализовала усилия в рамках Правительственной экспертной группы. В форуме принимают участие назначенные государством эксперты в области безопасности, права и контроля над вооружениями, а также авторитетные НПО. Его цель - сбалансировать гуманитарные проблемы с интересами обороны государств. Публикации и заседания постепенно формируют общую основу для выработки политики.
Тупиковые ситуации с определениями и различные амбиции Имея несколько согласованных образцов автономного оружия, государства с трудом разрабатывают приемлемые определения. Одни настаивают на немедленном введении обязательных запретов, в то время как другие считают такие шаги преждевременными. Критерии должны быть универсальными, но в то же время гибкими, чтобы соответствовать развивающимся технологиям. Прогресс останавливается, когда точность определений сталкивается с политическими амбициями.
Принципы Консенсуса: Применяется МГП, и Рисками Необходимо Управлять Государства достигли консенсуса по одиннадцати руководящим принципам, которые отражают текущее состояние МГП в том, что касается автономии. МГП в полной мере применимо ко всем системам вооружений, включая потенциальные автономные варианты. Оценка рисков и их снижение должны осуществляться на всех этапах проектирования, разработки, испытаний и развертывания. Ответственность за разработку и использование остается за государствами на протяжении всего жизненного цикла системы.
Публикация юридических обзоров в целях укрепления доверия Добровольное раскрытие национальной практики проверки может продемонстрировать ответственность, не раскрывая конфиденциальных деталей. Даже частичная, добросовестная прозрачность может сдерживать гонку вооружений в спорной области. Такие сигнальные функции, как "мягкая сила", демонстрируют осведомленность о рисках распространения и неправильного использования. Общие форматы маловероятны, но практическое раскрытие информации возможно.
Культивирование скептицизма у людей-операторов Обучение операторов должно способствовать развитию критического мышления и сохранению здорового недоверия к результатам работы оборудования. Природа человека не позволяет предоставлять полную автономию системам, которые могут привести к гибели людей или эскалации конфликтов. Интенсивное обучение по конкретным темам повышает устойчивость к предвзятому отношению к автоматизации. Этический и психологический скрининг помогает принимать надежные решения в стрессовых ситуациях.
Человек в курсе событий как основа доктрины При использовании автоматики для обнаружения и слежения в процессе эксплуатации цели могут быть выбраны человеком. Защита периметра и аналогичные функции могут выполняться автоматически, но оператор по-прежнему может выбирать, что приведет к летальному исходу. При потере связи системы могут переключаться в безопасные режимы или передавать ручное управление дружественным операторам. Доктрина сосредоточена на сохранении человеческой власти над взаимодействием.
Косвенные индикаторы и трудности с проверкой набора данных Если разорванная связь позволяет оружию преследовать цели, то наиболее вероятным вариантом является автономность, но это только предположение. Вопрос о дифференциации контроля за боеприпасами, находящимися без присмотра, и крылатыми ракетами остается спорным. В качестве инструментов нераспространения предлагается использовать средства контроля за наборами данных, которые, однако, невидимы и трудно поддаются аудиту. Проверка отстает от простоты распространения кода и данных.
Перспективы контроля над вооружениями, включая Искусственный интеллект Предложения включают ИИ в более широкое уравнение безопасности для будущих переговоров по контролю над вооружениями. Военные брифинги высокого уровня выдвигают ИИ в качестве темы для переговоров. Детали остаются скудными, но включение в повестку дня является заметным шагом. Конструктивный диалог может проложить путь к выработке норм или соглашений.
Затраты и постановка задач ограничивают неограниченную автономию Разработка передовых систем искусственного интеллекта является дорогостоящей и тесно связана с требованиями заказчика. Подрядчики придерживаются определенных бюджетов и технических задач, которые не предусматривают обхода контроля со стороны человека. Самосовершенствующиеся системы, предназначенные для ухода от надзора, считаются преждевременными. Существующие стимулы позволяют сохранить автономию в установленных рамках.
На пути к этическим кодексам и постоянному диалогу Внедрение норм МГП в программное обеспечение согласуется с требованиями к кодексам этики разработчиков. Ранняя интеграция на этапе проектирования может ограничить злоупотребления и обеспечить ответственное использование возможностей. По мере развития технологий необходимо продолжать дискуссии с участием многих заинтересованных сторон ‑ юридических, технических и гуманитарных. Структурированные форумы и публикации позволяют вести дискуссию комплексно и конкретно.
Человеческий контроль и юридическая ответственность на протяжении всего жизненного цикла оружия Ответственность за решения, принимаемые такими машинами, должна лежать на людях на протяжении всего жизненного цикла системы оружия. Для обеспечения соблюдения принципов и норм международного гуманитарного права, закрепленных в статье 36 "Обзоры новых средств и методов ведения войны", необходим постоянный надзор. Российская доктрина включает эти обязанности в свое руководство по юридической работе в Вооруженных силах, превращая соблюдение правовых норм в функцию командования.
Внутреннее применение МГП в военной практике России Внутренние правила возлагают ответственность за применение конкретных видов оружия на ответственных должностных лиц. Командиры должны демонстрировать уважение к МГП, обеспечивать его соблюдение в своих подразделениях и принимать превентивные меры против нарушений. Юридическая поддержка обеспечивается в рамках обучения личного состава по МГП и консультаций с командирами, адаптированных к конкретным задачам. Российские нормативные акты также учитывают точку зрения, связанную со статьей 35, о том, что выбор средств и методов ведения войны не ограничен.
Российские критерии для новых правил автономии со смертельным исходом Россия строит свой подход к автономным системам смертоносного оружия на основе статьи 35 и баланса между гуманитарными соображениями и потребностями обороны. Любой новый юридически обязывающий документ предполагает доказательство того, что конкретное оружие никогда и ни при каких условиях не может быть использовано в соответствии с МГП. После пяти лет работы такие доказательства отсутствуют, и универсального определения ЗАКОНОВ не существует, что усложняет нормотворческую деятельность. Соблюдение требований статьи 36 "Обзоры" и статьи 57 "Меры предосторожности при нападении" остается центральным.
Процесс по КНО на перепутье На обзорной конференции в Женеве будет дана оценка пятилетнему циклу работы группы экспертов и принято решение о продлении ее мандата. Результат важен, поскольку в настоящее время это единственный межправительственный форум, на котором систематически обсуждаются новые технологии в области автономного применения смертоносных средств. На кону стоят непрерывность, согласованность и легитимность процесса.
Непреходящая актуальность гуманитарного права Гуманитарное право сохраняет свою актуальность, несмотря на то, что зародилось в XIX веке. Основополагающий баланс между военной необходимостью и гуманностью, сформулированный в Санкт-Петербургской декларации 1868 года, по-прежнему является основой сегодняшних дискуссий. Технологические изменения проверяют применимость, но не отменяют основополагающие нормы. Государства выигрывают от устойчивого, структурированного диалога.
Рабочая, адаптируемая позиция МККК МККК подчеркивает, что его документ с изложением позиции является практическим, адаптируемым инструментом, а не неизменной доктриной. Цель состоит в том, чтобы заручиться поддержкой экспертов и разработать пути обеспечения максимальной защиты жертв конфликта. Открытое, последовательное обсуждение является средством приведения правовых стандартов в соответствие с новыми реалиями.
Двойная роль МККК: защита и распространение информации Наряду с оказанием помощи и защиты, МККК содействует распространению Международного гуманитарного права и гуманитарных принципов. Являясь хранителем Международного гуманитарного права, он выпускает рекомендации, комментарии к международным договорам и различные публикации, способствующие их осуществлению. Эти усилия направлены на улучшение соблюдения за счет ясности, доступности и рекомендаций.
Международный обзор деятельности Красного Креста: платформа и приглашение "Международное обозрение Красного Креста", издаваемое с 1869 года издательством Cambridge University Press, является рецензируемым журналом, выходящим три раза в год. Его аудитория охватывает правительства, международные и неправительственные организации, специалистов‑гуманитариев, ученых и журналистов. Отобранные материалы регулярно публикуются на арабском, испанском, китайском, русском и французском языках, а в качестве языка оригинала используется английский. Авторам из недостаточно представленных регионов, включая Россию, рекомендуется отправлять свои работы с поддержкой перевода после предварительной экспертной оценки. Журнал индексируется в Scopus и Web of Science, его импакт-фактор в 2017 году составил 0,373.
Приоритетные темы для будущих материалов Предстоящие и специальные выпуски посвящены людям с ограниченными возможностями в вооруженных конфликтах и "новым взглядам" на Международное гуманитарное право, гуманитарную политику и практику. Приоритетные темы включают взаимодействие Международного гуманитарного права и прав человека, гуманитарный доступ, трансформацию гуманитарного сектора, военные кибероперации и роль государства в осуществлении Международного гуманитарного права. Инструкции по подаче заявок и критерии их подачи подробно изложены на веб-сайте журнала.
Цифровые технологии и война: всеобъемлющий выпуск на русском языке Последний выпуск, посвященный цифровым технологиям и войне, полностью переведен на русский язык и также будет доступен в печатном виде. В нем рассматриваются автономия и искусственный интеллект, кибероперации, защита данных и цифровые МЕДИА в вооруженных конфликтах. В сборнике представлена гуманитарная повестка дня цифровой эры.
Продолжение беседы: публичный онлайн-диалог На онлайн-мероприятии, которое состоится 16 декабря, будет рассмотрено, как цифровые технологии в вооруженных конфликтах могут смягчить гуманитарные последствия. Разговор выходит за рамки автономии и искусственного интеллекта и затрагивает утечки данных, кибероперации, дезинформацию и распространенные в Интернете разжигания ненависти. Среди участников - ведущий журналист, независимые эксперты, бывший посол, участвовавший в работе ЮНЕСКО по этике искусственного интеллекта, и руководители МККК, такие как глава отдела защиты данных и редактор журнала Review. Цель состоит в том, чтобы рассказать о рисках, возможностях и будущих редакционных темах.
Обновление Женевских комментариев для изменившегося мира С 2011 года МККК обновляет комментарии эпохи Пикте (1952-1960), чтобы отразить современную практику. Проект объединяет исторические, правовые, военные, этические, социокультурные и технологические аспекты. Обновленные комментарии к первым трем Женевским конвенциям размещены в сети, и работа над четвертой продвигается. Результатом является более прочная и актуальная система толкования МГП.
Широкое сотрудничество как условие улучшения защиты Оптимальные решения принимаются в результате постоянного взаимодействия между экспертами, государственными органами, гуманитарными организациями, учеными и журналистами. Всеобъемлющий диалог отражает различные факторы и точки зрения, необходимые для соблюдения реалистичных норм. Такое сотрудничество повышает защиту жертв конфликтов в современных сложных условиях.
Интеграция человека и машины и проблема принудительных действий Достижения в области бионического протезирования и экзоскелетов приводят к возникновению сценариев, при которых внешние силы могут захватить контроль, что приведет к летальным исходам. Когда человек и машина функционируют как единое целое, ответственность, профилактика и соответствие боевым задачам становятся насущными вопросами. Устранение этих рисков требует перехода от увольнений к конкретному юридическому и этическому планированию.
Первые юридические шаги для гражданской робототехники Некоторые юрисдикции уже регулируют роботизированные системы в соответствии с гражданским законодательством, включая автоматизированное вождение. Эти рамки подразумевают пути подотчетности, применимые к системам, увеличивающим возможности человека, и системам, связанным с оружием. Дебаты выходят за рамки медицинской этики и касаются социальных ограничений на самоизменение и внешнее вмешательство.
Более эффективные наземные мины и требования к обзору вооружений Недавно разрекламированная противопехотная мина, которая, как утверждается, должна отличать комбатантов от гражданских лиц, не была принята на вооружение, что исключает возможность конкретной оценки. Аналогичные концепции в других странах направлены на обнаружение дружественного присутствия и предотвращение детонации в окопах. Соблюдение требований статьи 36 требует тщательного анализа вооружений, проводимого на стадии проектирования, и Россия подчеркивает эту практику. Международно‑правовые обязательства служат не подлежащими обсуждению критериями.
Экспортный контроль как рычаг обеспечения соблюдения требований — и его пределы Государства-экспортеры заинтересованы в том, чтобы оружие соответствовало требованиям МГП для защиты рынков и репутации. Фактически это служит сертификацией соответствия экспортируемых систем. Остаются открытыми вопросы о системах, не предназначенных для экспорта, и о том, применяется ли аналогичная проверка. Последовательные и прозрачные стандарты обеспечивают доверие.
Основные задачи командования: сохранить войска и выполнить миссию. Командиры ценят инструменты, которые защищают войска и обеспечивают успех миссии. Перепрофилирование платформ, выходящее за рамки проектных параметров, может привести к опасному и непредсказуемому поведению, как это было показано в случае, когда вооружение робота-сапера привело к нестабильности. Надежные системы должны быть проверены на соответствие их предназначению в реальных условиях. Потребительская робототехника напоминает, что дизайн и окружающая среда определяют безопасную работу.
Будущее автономии: множество удаленных операторов, а не полная замена Развитие вооруженных сил предполагает, что большое количество персонала будет работать с дистанционно управляемыми системами, а не с платформами с экипажами. Операторы смогут управлять несколькими транспортными средствами, что позволит добиться большего эффекта без участия бортпроводников. Смена персонала увеличивает, а не устраняет роль человека в боевых операциях.
Хрупкость технологий в условиях войны высокой интенсивности Война высокой интенсивности может вывести из строя спутники и средства обеспечения точности, сведя на нет преимущества высокой степени автоматизации. Войска должны хорошо владеть картами, компасами и таблицами ведения огня вручную. Продвинутая автоматизация больше подходит для специальных операций и ограниченных конфликтов, чем для крупномасштабных войн.
Нормативные идеалы против практического прагматизма Нормы международных договоров являются результатом компромисса, в то время как МГП применяется в практических руководствах и инструкциях. Разрыв между юридическими нюансами и пониманием ситуации на поле боя велик, однако обязанность соблюдать остается. Согласование строгого соблюдения с риском для миссии является постоянной дилеммой командования.
Проверка предложенных МККК ограничений на примере сложных случаев Предложения о запрете применения автономной силы против людей касаются таких сложных случаев, как использование бронетехники для перевозки войск и транспортных самолетов. Предлагаемые ограничения на продолжительность, географию и масштабы использования боеприпасов и беспилотных летательных аппаратов, находящихся без присмотра, противоречат их долговечности и глобальному применению. При определении любых реальных границ должны учитываться оперативные реалии.
Закон развивается после потрясений Закон часто следует за бедствием. Разливы нефти, ядерные аварии и другие потрясения исторически приводили к появлению новых договоров и режимов компенсации. Международные гуманитарные и экологические нормы часто носят реактивный характер.
Уже зарегистрированные несчастные случаи Инциденты уже свидетельствуют о том, что сбои в автономии могут привести к летальному исходу. В одном случае автоматизированная система противовоздушной обороны в Южной Африке вышла из‑под контроля и в автоматическом режиме уничтожила собственный экипаж. Такие сбои требуют осторожной разработки, многоуровневых мер предосторожности и подотчетности.
Политика консенсуса и форум по КНО Процедуры консенсуса формируют Женевский процесс, замедляя принятие решений, но сохраняя инклюзивность. Россия не демонстрирует намерения нарушать консенсус и считает нынешний форум оптимальным, оставаясь при этом открытой для изменения формата в случае необходимости. Многие партнеры стремятся к диалогу, чтобы понять его обоснованность, основанную на защите. Поддержание легитимности требует терпеливого и прозрачного взаимодействия.
Кто устанавливает правила: государства превыше кодов разработчиков Обязательные ограничения вытекают из требований государственных закупок и юридических проверок, а не из добровольных этических кодексов разработчиков. Системы активной защиты вводятся в действие после того, как тесты подтверждают, что они не представляют опасности для гражданского населения в городских условиях. Ожидания полной автономии не учитывают, насколько серьезные войны разрушают сложные системы.
Этика, достоинство и пределы машинного суждения Даже если автоматизация в один прекрасный день сможет конкурировать с соблюдением прав человека, достоинство человека не позволяет делегировать людям право выбора, которое может привести к летальному исходу. Кодирование МГП в машинно‑исполняемые правила приводит к возникновению споров в связи с толкованием, ограничениями для датчиков и профилями ошибок, которые увеличиваются по мере развертывания. Автоматизация может помочь обеспечить соблюдение узких правил, однако реальные случаи дискреционного милосердия показывают, почему запрет автономного использования против людей является убедительным этическим основанием.