Вышла в свет книга Б.И.Нигматулина и В.А.Пивоварова «Реакторы с тяжелым жидкометаллическим теплоносителем. История трагедии и фарса». Подробнее 

Академик Олег Фиговский, Израиль 

Прогнозирование новых военных технологий неразрывно связано с вопросом контроля за их использованием, особенно в свете современных военных конфликтов. Одна из проблем, связанных с прогнозированием контроля над конкретными применениями военного ИИ, заключается в неясности того, как ИИ в конечном итоге будет использоваться на поле боя. Поэтому сейчас сложно накладывать какие-либо ограничения.

По мере развития искусственного интеллекта некоторые высказывают опасения по поводу систем вооружения с использованием ИИ. В связи с этим возникает вопрос о том, насколько реально контролировать военное использование ИИ. Меган Ламберт и Пол Шарре рассматривают ряд особенностей, затрудняющих контроль над ИИ, и предлагают конкретные шаги, которые можно предпринять уже сегодня, чтобы повысить вероятность успеха будущих режимов контроля над вооружениями с использованием ИИ. В связи с этим большой интерес вызывает работа Мегана Ламберта и Пола Шарре о том, какие существуют виды контроля над вооружениями, целесообразности его существования и уроках, которые дает ИИ. 

Вооруженные силы по всему миру работают над разработкой, интеграцией и использованием ИИ в своих системах вооружений. Хотя многие из этих систем еще не реализованы, прорывы в области ИИ могут со временем оказать значительное влияние на функционирование вооруженных сил. Беспокойство по поводу военных систем ИИ заставила некоторых активистов призывать к запрету или регулированию систем вооружения с использованием ИИ. Тем не менее, ИИ обладает рядом характеристик, которые затрудняют контроль над ним. Будучи технологией общего назначения, ИИ подобен электричеству или двигателю внутреннего сгорания и имеет бесчисленное множество невоенных и оборонных применений. Он отличается от некоторых военных технологий тем, что разрабатывается преимущественно в гражданском секторе инженерами в частной промышленности или в исследовательских организациях.

Хотя широкое распространение ИИ делает маловероятным полный запрет на все военные применения ИИ, у международного сообщества может быть возможность совместной работы по регулированию или запрету определенных видов использования военного ИИ.  На протяжении всей истории человечества государства добивались ограничений или запретов на определенные виды оружия или его применения. Мотивы контроля над вооружениями могут быть разными, как и его успех. Анализ исторических примеров контроля над вооружениями показывает, что конкретные шаги, предпринятые сегодня, могут повысить шансы на успешный контроль над вооружениями ИИ в будущем. Политики могут работать над тем, как технологии ИИ используются военными. Страны также способны наладить регулярный диалог с союзниками и конкурентами об использовании ИИ в военных действиях и принятии мер для снижения взаимных рисков.

Повсеместная и демократизированная природа ИИ делает контроль над вооружениями трудным, но не невозможным. Хотя полный запрет на военное использование ИИ не представляется возможным, государства могут запретить некоторые виды применения ИИ при условии четкого определения запретов и взаимного контроля над ними. Взаимная проверка, хотя и сложна для любого военного потенциала на основе программного обеспечения, может быть достигнута с помощью различных методов: введение режима инспекций на местах; регулирование внешних наблюдаемых физических характеристик систем с ИИ (например, размер, вес, полезная нагрузка) или автономного поведения; или ограничение вычислительной инфраструктуры (т.е. аппаратного обеспечения). Любой контроль над вооружениями ИИ будет сложной задачей, но при правильных условиях в некоторых случаях он вполне осуществим. Действия, предпринятые сегодня, могут заложить основу для успеха в будущем. Контроль над вооружениями охватывает целый ряд действий и может происходить на любом этапе разработки или применения оружия. В этой статье мы определяем контроль над вооружениями как "соглашения, которые государства заключают для контроля над исследованиями, разработкой, производством, применением или использованием определенных видов оружия, характеристик оружия, применения оружия или систем доставки оружия".

Договоры о нераспространении, такие как Договор о нераспространении ядерного оружия, нацелены на этап разработки технологий и направлены на предотвращение доступа к технологиям, лежащим в основе определенного оружия. Другие меры контроля над вооружениями запрещают разработку, производство и накопление оружия, но разрешают доступ к базовой технологии. Сюда относятся запреты на противопехотные мины и кассетные боеприпасы. Договоры об ограничении вооружений, такие как новый Договор СНВ, разрешают производство определенных видов оружия, но пытаются ограничить количество, которым могут обладать страны. Другие меры регулируют использование оружия в войне, а в некоторых случаях полностью запрещают его использование. Хотя некоторые меры по контролю над вооружениями осуществляются посредством юридически обязывающих соглашений, в истории существует множество примеров успешного заключения не имеющих обязательной юридической силы соглашений или даже негласного сотрудничества без официальных соглашений.

 Со временем давняя практика государств также может превратиться в обычное международное право, или "общую практику, принятую в качестве закона". Контроль над вооружениями является скорее исключением, чем правилом, когда страны конкурируют между собой в разработке и производстве оружия. Такой контроль требует координации и доверия между государствами — это достаточно трудная задача в мирное время и еще более трудная во время конфликта. Государства довольно неохотно соглашаются на меры по мониторингу и проверке, которые могли бы повысить взаимную прозрачность и позволить проверять соблюдение обязательств другими странами. Как объясняют Эндрю Коу и Джейн Вейнман, "важным препятствием для контроля над вооружениями является компромисс, связанный с мониторингом: прозрачность необходима, чтобы убедить одну сторону в соблюдении другой стороной ограничений на вооружения, но прозрачность также может выявить уязвимости, которые могут быть использованы первой стороной в гонке вооружений или войне". Несмотря на многочисленные препятствия для контроля над вооружениями, в некоторых обстоятельствах государства смогли успешно ограничить разработку и применение оружия, даже во время войны. Уроки прошлых исторических успехов и неудач дают ценную информацию для попыток сдержать использование ИИ военными.

Государства будут сопротивляться регулированию оружия с высокой военной ценностью — такого, которое эффективно, предоставляет уникальный доступ или обеспечивает решающее преимущество на поле боя, — даже если это оружие способно причинить существенный вред. Военная ценность оружия кладется на разные чаши весов с его теоретическим вредом, имеющим место, если оружие воспринимается как бесчеловечное, неизбирательное, дестабилизирующее или разрушающее политический или социальный порядок. Иногда государства пытаются ограничить оружие или военные системы, которые приносят ненужные страдания или лишние травмы. Например, пули, оставляющие в теле осколки стекла, имеют более высокую степень вреда — они наносят чрезмерные травмы, а осколки стекла невозможно обнаружить с помощью рентгеновских лучей, — и не представляют уникальной ценности для военных.

На восприятие вреда от оружия может также влиять механизм поражения. Например, ослепляющие навсегда лазеры воспринимаются как причиняющие ненужные страдания, что повышает желательность контроля над ними. Государства пытались контролировать менее избирательное оружие или военные системы – те, которые не могут отличить гражданское лицо от комбатанта. Сюда относятся ранние ограничения на воздушные бомбардировки. Эти виды регулирования наиболее успешны, когда оружие или вид поведения на поле боя полностью запрещены. Попытки регулировать использование оружия неизбирательного действия путем ограничения его применения по военным целям и недопущения его в гражданские районы не увенчались успехом на практике в военное время. Государства могут также желать контроля в отношении оружия, которое воспринимается как разрушительное или дестабилизирующее. Политические лидеры могут стремиться запретить оружие, которое угрожает их власти, как, например, папские запреты на арбалет или ранние постановления об огнестрельном оружии. Оружие, которое рассматривается как дестабилизирующее, например, системы противоракетной обороны или ядерное оружие космического базирования, может иметь более высокую степень желательности для контроля, поскольку оно может спровоцировать дорогостоящую гонку вооружений или создать стимулы для первого удара.

Взаимность — страх, что другая страна может ответить таким же оружием или поведением — является существенным фактором, определяющим стремление государства к контролю над вооружениями и его соблюдение. Прежде чем ратифицировать Женевский газовый протокол 1925 года, Великобритания, Франция и Советский Союз заявили, что соглашение перестанет быть обязательным, если хоть одна страна не будет его соблюдать. На начальных этапах Второй мировой войны Гитлер воздерживался от отдачи приказов о бомбардировках британских городов не из-за действующих международно-правовых запретов на это, а из страха, что Британия нанесет ответный удар. Взаимная сдержанность достигается либо внутренними нормами целесообразности, либо страхом перед тем, что противник может нанести ответный удар.

В ходе всестороннего исследования нарушений военного права в 48 межгосударственных войнах с 1900 по 1991 год Джеймс Д. Морроу обнаружил, что ключевым фактором соблюдения норм является взаимность. Договоры часто были полезным координационным механизмом, позволяющим государствам договориться о том, следует ли и как сдерживать свои военные операции, но нарушения с одной стороны почти всегда приводили к ответным нарушениям. В демократических странах внутренние институты могут создать определенную "сцепляемость", которая повышает вероятность продолжения соблюдения договоров, даже если оппонент их нарушает. Несмотря на это давление, Морроу заключил: "Односторонняя сдержанность встречается редко".

Лучшей иллюстрацией динамики желательности контроля над вооружениями является реакция международного сообщества на ядерное оружие в сравнении с химическим. Вред ядерного оружия намного превосходит страдания, причиняемые химическим оружием, однако глобальное ядерное разоружение остается недосягаемым. Химическое оружие, с другой стороны, широко осуждается международным сообществом. Изредка его применяют государства-изгои. Ключевое различие заключается в военной ценности каждого вида оружия — ядерное оружие обладает уникальной политической эффективностью. Результатом этой динамики является то, что контроль над вооружениями чаще всего оказывается успешным в отношении оружия, которое не представляет особой ценности. В то время как желательность контроля над вооружениями связана с факторами, которые мотивируют или отвращают страны от контроля над вооружениями, осуществимость подразумевает, достижимо ли взаимное сдерживание. Осуществимость контроля над вооружениями зависит от нескольких факторов: ясность правил; способность государств соблюдать условия соглашения; способность государств проверять соблюдение другими государствами; количество стран, необходимое для успешного выполнения соглашения.

Для достижения контроля над вооружениями государства должны договориться о том, какое оружие или виды применения оружия подлежат регулированию и как они должны регулироваться. Простота является основным преимуществом при разработке правил. Полный запрет на оружие, как правило, лучше соблюдается во время войны, чем правила, разрешающие его применение в некоторых обстоятельствах. Простота помогает противникам координировать действия по сдерживанию и способствует нормативной ценности стигматизации оружия. Абсолютные запреты, например, на противопехотные мины, кассетные боеприпасы, химическое и биологическое оружие, были успешными отчасти потому, что такое оружие запрещено при любых обстоятельствах, а не только в определенных случаях. Положения, ограничивающие применение в одних случаях, но не в других, такие как оружие воздушного базирования и подводная война, исторически имели меньше шансов на успех. И все же простота не всегда необходима. Соединенные Штаты и Советский Союз (Россия) заключили множество двусторонних соглашений о контроле над вооружениями, которые содержали сложные правила в отношении того, какое оружие разрешено создавать каждому государству, включая Договор о ядерном оружии средней дальности, Договор о противоракетной обороне, SALT I, SALT II, SORT, START и новый START. Однако эти договоры имели и другие ограничения, например, требовали достижения соглашения только от двух сторон и ограничивали разработку и производство оружия только в мирное время, а не в военное.

Еще одним существенным фактором, влияющим на осуществимость, является способность страны реально выполнять условия соглашения. Государства имеют несовершенный контроль над своими вооруженными силами, и правила, которые государства могут случайно нарушить, будет труднее соблюдать. Германия и Великобритания вступили во Вторую мировую войну, стремясь к сдержанности в отношении воздушных бомбардировок городов, и некоторое время взаимная сдержанность сохранялась. Сначала обе страны бомбили только военные цели, а не населенные пункты. На осуществимость контроля над вооружениями также влияет количество стран, необходимых для успешного заключения соглашения. Чем меньше стран необходимо, тем лучше. Например, во время холодной войны биполярная структура международной системы облегчала контроль над вооружениями, поскольку для этого необходимо было согласие только двух сверхдержав.

Даже в случае многосторонних соглашений Америка и Советский Союз могли играть ведущую роль в разработке соглашения, что облегчает его выполнение другими странами. Соединенные Штаты и Советский Союз заключили множество соглашений о контроле над вооружениями, некоторые двусторонние, а некоторые многосторонние. Эти соглашения включали Договор о морском дне, Договор о космическом пространстве, Договор о противоракетной обороне и другие. Чем более распространено оружие, тем труднее его контролировать, поскольку за столом переговоров потребуется больше стран. Способность государства проверить, соблюдают ли другие государства соглашение, является важным фактором успеха контроля над вооружениями.

В некоторых случаях используются формальные режимы проверки, особенно в отношении оружия, которое может быть разработано в тайне, например, ядерное или химическое оружие. Конвенция о химическом оружии и Договор о нераспространении ядерного оружия предусматривают инспекционные меры для проверки соблюдения подписавшими их сторонами. Договор о космосе предусматривает, что государства должны разрешить другим наблюдать за космическими запусками и посещать любые объекты на Луне. Однако не все успешные договоры имеют формальные режимы проверки. Запреты на кассетные боеприпасы и противопехотные мины не требуют формальных инспекций, но заставляют государства быть прозрачными в отношении ликвидации своих запасов. В некоторых случаях государства полагаются на собственные методы сбора разведданных для проверки соблюдения, как это было в случае с договорами SALT I, SALT II и по противоракетной обороне.

Юридический статус соглашения о контроле над вооружениями, по-видимому, мало влияет на его конечный успех. На протяжении истории страны нарушали юридически обязывающие договоры, особенно во время войны. Так было с применением отравляющего газа во время Первой мировой войны. Неформальные, не имеющие обязательной юридической силы соглашения тоже имели успех в прошлом. Возьмем, к примеру, режим контроля ракетных технологий, который ограничивает экспорт определенных классов ракет. Есть даже некоторые примеры негласного взаимопонимания, когда не существует официального соглашения, ограничивающего применение оружия — например, сдержанность, проявленная Америкой и Советским Союзом при развертывании противоспутникового оружия или нейтронных бомб во время холодной войны, или односторонний отзыв Германией штыка-пилы во время Первой мировой войны.

Не столько правовой статус договора, сколько взаимность является движущим фактором, побуждающим государства соблюдать его. Когда государства сдерживают разработку, производство или применение оружия, это обычно происходит из страха, что противники соответствующим образом ответят на нарушения. Однако официальные соглашения могут быть полезны для координации поведения государств и прояснения ожиданий. Контроль над вооружениями также зависит от методов: регулирование часто основывается на предыдущих успехах в регулировании смежных технологий. Древние запреты на яд, например, помогли привести к современным запретам на химическое и биологическое оружие. Американо-советские соглашения о контроле над стратегическими вооружениями со временем привели к заключению дополнительных соглашений. Успех гуманитарной кампании по запрещению противопехотных мин, вероятно, сделал возможным гуманитарный запрет на кассетные боеприпасы.

Государства часто пытались регулировать новые или быстро развивающиеся технологии, которые представляют собой уникальные проблемы, особенно актуальные, когда речь идет об ИИ. Государства могут быть не уверены в военной пользе и вреде новых технологий, сделав выбор в пользу сохранения возможности их использования. Когда государства стремятся к сдержанности, они могут неправильно предсказать путь развития технологии, способы ее применения и контрмеры, в результате чего разрабатывают правила, которые не являются практичными или не могут полностью ограничить вредное использование. В конце 19-го и начале 20-го веков государства заключили множество соглашений о контроле над вооружениями, пытаясь контролировать оружие индустриальной эпохи. В 1868, 1899, 1907, 1922, 1930 и 1936 годах европейские державы подписывали соглашения, регулирующие взрывчатые или разрывные пули, отравляющий газ, оружие воздушного базирования, подводные лодки и военные корабли. Ни один из этих договоров не пытался остановить распространение основополагающей науки и технологии, такой как химия или двигатель внутреннего сгорания. Скорее, они ограничивали типы оружия, которые могли создавать военные, или, в случае с самолетами и подводными лодками, способы применения этого оружия в войне. Хотя европейские лидеры правильно предполагали, что многие из этих видов оружия, такие как самолеты или ядовитый газ, могут причинить большие страдания во время войны, они не смогли предугадать важные детали развития этих технологий, что в некоторых случаях препятствовало соблюдению требований.

Ядовитый газ был объявлен вне закона до Первой мировой войны, но только в том случае, если он выпускался из снарядов. Первое крупномасштабное применение хлора Германией во время Второй битвы при Ипре было технически разрешено, поскольку газ выпускался из канистр. Достижение сдержанности при использовании газа осложнялось еще и тем, что его относительные военные преимущества и недостатки не были известны до Первой мировой войны. Германия впервые применила газ в поисках оружия, которое могло бы переломить ход событий на фронте, возможно, частично мотивированная французскими экспериментами с гранатами со слезоточивым газом в начале войны.

Попытки регулирования подводных лодок и самолетов также основывались на неверных предположениях о том, как будут развиваться эти технологии. Гаагская конвенция 1907 года запрещала воздушные бомбардировки "необороняемых" городов, не предвидя слабости противовоздушной обороны против бомбардировочных налетов. И наоборот, морское право требовало, чтобы подводные лодки всплывали, предупреждали и брали на борт экипаж, прежде чем топить торговые суда. Соблюдение этих правил, что Германия вначале пыталась сделать в Первой мировой войне, делало подводные лодки уязвимыми даже для легковооруженных торговых судов. В других случаях некоторые виды оружия оказались не столь проблематичными, как первоначально предполагали государства. Расширяющиеся пули были запрещены Гаагской конвенцией 1899 года, но сегодня они широко используются в правоохранительных органах и для гражданской самообороны. (Такие пули с меньшей вероятностью пройдут сквозь человека и заденут посторонних).

Совсем недавно, в случае с запретом на ослепляющие лазеры, государства попытались обойти проблему прогнозирования развития, приняв запрет на предполагаемое использование технологии. Протокол IV Конвенции о конкретных видах конвенционального оружия гласит: "Запрещается применять лазерное оружие, специально предназначенное, в качестве единственной боевой функции или одной из боевых функций, для того, чтобы вызывать постоянную слепоту". Запрет, в частности, не запрещает конкретные технические характеристики лазера, такие как его мощность, а вместо этого фокусируется на его предполагаемом использовании. На сегодняшний день запрет на ослепляющие лазеры оказался успешным. Хотя превентивный запрет новых технологий во многом сложен, государствам удалось ввести превентивные правила в отношении ослепляющих лазеров, биологического оружия, использования окружающей среды в качестве оружия, размещения ядерного оружия на морском дне или в космосе, а также создания военных баз в Антарктиде или на Луне. В пользу упреждающего регулирования говорит тот факт, что в некоторых случаях может быть проще запретить оружие, которое военные еще не включили в свой арсенал и поэтому не полагаются на него для защиты.

ИИ будет трудно контролировать по трем основным причинам: это технология общего назначения; это развивающаяся технология; проверка соблюдения любого соглашения, связанного с ИИ, будет представлять собой уникальную проблему. Однако это не означает, что ИИ не поддается контролю. Несмотря на значительные препятствия, контроль для некоторых военных применений ИИ вполне возможен. Даже странам, стремящимся получить преимущества в военном ИИ, следует искать пути снижения рисков конкуренции в этой сфере, в том числе с помощью контроля над вооружениями. Будучи технологией общего назначения, ИИ больше похож на электричество, чем на отдельные технологии, такие как подводные лодки или ослепляющие лазеры, что создает препятствия для инициатив по контролю над вооружениями. ИИ — это технология двойного назначения, имеющая как гражданское, так и военное применение, и, скорее всего, она будет широко доступна. Распространенный характер ИИ делает маловероятным успех режима нераспространения — такого, который предлагал бы "запереть" ИИ и сократить его распространение. Кроме того, поскольку ИИ настолько широко распространен, для успеха любого регулирования потребуется согласие многих субъектов.

Нечеткое определение "ИИ" также может осложнить достижение ясности в любом соглашении. Определение того, что представляет собой "ИИ", неоднозначно и открыто для интерпретации. Просто заявив: "Никакого ИИ", мы ничего не добьемся, как и в случае прямого запрета на использование газа, поскольку неясно, квалифицируется ли та или иная технология как "ИИ". Кроме того, область применения ИИ настолько обширна, что запрет всего ИИ был бы аналогичен тому, как если бы государства 19 века объявили "Нет индустриализации". Государства действительно пытались контролировать технологии индустриальной эпохи, включая подводные лодки, самолеты, воздушные шары, ядовитый газ и разрывные или расширяющиеся пули. Но договориться о том, чтобы вообще не использовать в войне технологии индустриальной эпохи, было бы непрактично.

Учитывая двойное назначение гражданской промышленной инфраструктуры, неясно, как можно было бы провести границы между гражданской и военной индустриализацией, даже если бы государства пожелали этого. Какие виды использования ИИ в военных целях являются приемлемыми или неприемлемыми – вопрос неоднозначный, и для успеха любых усилий по контролю над вооружениями странам потребуется ясность и четко определенные границы. Исторические примеры контроля над вооружениями во время промышленной революции служат полезным уроком, поскольку государства с разной степенью успеха регулировали конкретные применения промышленных технологий общего назначения, включая двигатель внутреннего сгорания (подводные лодки и самолеты) и химию (разрывные пули и отравляющий газ). Эти усилия иногда терпели неудачу, но не потому, что государства не могли определить, что такое подводная лодка или самолет, и не потому, что невозможно было ограничить их гражданское использование. Скорее, эти меры потерпели неудачу из-за конкретного применения этого оружия в военных действиях. Если бы баланс нападения и обороны между бомбардировщиками и ПВО или подводными лодками и торговыми судами развивался по-другому, это оружие можно было бы контролировать более эффективно.

Хотя полный запрет на все военные приложения ИИ, скорее всего, недостижим, история показывает, что страны могут быть готовы к некоторым ограничениям на конкретные применения. Проблема заключается в том, чтобы определить, для каких конкретных применений ИИ контроль над вооружениями наиболее желателен и возможен. Существуют ли определенные виды применения, которые воспринимаются как особенно опасные, дестабилизирующие или вредные? Ученые уже начали рассматривать влияние ИИ на ядерную стабильность, автономное оружие и кибербезопасность, но наверняка найдутся и другие области, заслуживающие серьезного рассмотрения. В конечном итоге желательность и осуществимость контроля над вооружениями для любого конкретного военного применения ИИ может зависеть от способа применения технологии.

Соглашение о контроле над вооружениями можно составить таким образом, чтобы оно было направлено на конкретные случаи применения технологии ИИ, которые считаются особенно проблематичными, подобно тому, как страны ограничивают применение пуль, взрывающихся внутри тела, вместо того, чтобы вообще ограничивать взрывающиеся снаряды. Одна из проблем, связанных с прогнозированием контроля над конкретными применениями военного ИИ, заключается в неясности того, как ИИ в конечном итоге будет использоваться на поле боя. Это классическая проблема для новых технологий – от исторических случаев, таких как самолеты и танки, до современных разработок, таких как кибернетические инструменты и оружие направленной энергии. В конце 19-го и начале 20-го веков страны боролись за контроль над такими быстро прогрессирующими технологиями индустриальной эпохи, как ядовитый газ и подводные лодки. Тот факт, что ИИ воспринимается многими военными как "меняющая правила игры" технология, может стать препятствием для сдерживания. Военные по всему миру инвестируют в ИИ и могут не захотеть ограничивать его применение. Риторика вокруг ИИ, большая часть которой может не соответствовать реальным инвестициям военных в ИИ, сама по себе препятствует потенциальным усилиям по контролю над вооружениями.