США і РФ не підтримали контроль людей за рішеннями ШІ щодо ударів — ЗМІ

Представники США та росії, за повідомленнями журналістів, виступили проти включення до проєкту документа Організації Об’єднаних Націй положень, які передбачали обов’язкову участь людини в ухваленні рішень про цілі для ударів, визначені системами штучного інтелекту. Ішлося також про необхідність оцінювати етичні, правові та гуманітарні наслідки перед використанням автономної зброї.

Дискусія навколо документа стосується майбутніх правил застосування військового штучного інтелекту. Його розвиток уже змінює підходи до розвідки, спостереження, протиповітряної оборони та планування операцій. Водночас використання алгоритмів без достатнього людського контролю може створити ризики, наслідки яких буде складно передбачити або швидко зупинити.

США і РФ не підтримали контроль людей за рішеннями ШІ щодо ударів — ЗМІ

За даними журналістів, із початкового варіанта документа могли вилучити формулювання, які зобов’язували військових перевіряти кожну ціль, запропоновану або обрану алгоритмом. Також у тексті могли міститися вимоги щодо попередньої оцінки можливих моральних, правових і гуманітарних наслідків перед запуском автономної зброї.

Такі положення розглядалися як спроба закріпити принцип, за яким остаточне рішення про застосування сили має залишатися за людиною. Йдеться не лише про формальну присутність оператора біля пульта керування, а про реальну можливість військовослужбовця зрозуміти ситуацію, оцінити ризики, відхилити команду системи або негайно припинити атаку.

Прихильники обмежень зазначають, що алгоритм може швидко обробляти великі масиви інформації, але не здатен повністю відтворити людське моральне судження. Система розпізнавання може класифікувати об’єкт як військову ціль, проте не завжди врахує контекст: присутність цивільних, зміну обстановки, спробу евакуації або використання об’єкта не за первісним призначенням.

Помилка автономної системи у воєнних умовах може мати особливо тяжкі наслідки. Неправильно визначена ціль здатна призвести до загибелі цивільних, пошкодження лікарні, житлового будинку, енергетичного об’єкта або іншої критичної інфраструктури. Якщо ж алгоритм працює одночасно з великою кількістю безпілотників чи боєприпасів, одна помилка може масштабуватися за лічені хвилини.

Окремим питанням залишається відповідальність. У випадку удару, здійсненого за рішенням автономної програми, потрібно визначити, хто має відповідати за наслідки. Це може бути командир, який дозволив використання системи, оператор, розробник програмного забезпечення або посадовець, що затвердив відповідні правила. Якщо міжнародні норми не встановлять чітких принципів, сторони конфлікту можуть намагатися перекласти провину на технічний збій чи непередбачувану поведінку алгоритму.

Чому автономна зброя викликає міжнародні суперечки

Військові системи зі штучним інтелектом здатні аналізувати дані з радарів, супутників, камер, безпілотників та інших джерел. Вони можуть виявляти рух техніки, визначати потенційні загрози, прогнозувати напрямок атаки й пропонувати командуванню варіанти дій. У деяких випадках алгоритми також можуть самостійно наводити зброю або запускати процедуру ураження після виявлення заданих ознак.

Прихильники таких технологій вважають, що вони здатні підвищити швидкість реагування та зменшити ризик для військовослужбовців. Машина не втомлюється, може цілодобово обробляти інформацію й одночасно контролювати значно більше об’єктів, ніж окремий оператор. У системах протиповітряної оборони лічені секунди іноді мають вирішальне значення, тому автоматизація може бути корисною для перехоплення ракет або протидії масованим атакам.

Однак швидкість не є гарантією точності. Алгоритми навчаються на даних, а їхня поведінка залежить від якості цих даних і сценаріїв, передбачених розробниками. У реальному бою умови можуть суттєво відрізнятися від тих, у яких проводилося тестування. Погана видимість, дим, уламки, нестандартна поведінка людей, пошкодження обладнання або перебої зі зв’язком можуть призвести до хибної ідентифікації.

Додаткову небезпеку становлять кібератаки, підміна сигналів і навмисне введення системи в оману. Противник може спробувати змінити дані, замаскувати військовий об’єкт під цивільний або, навпаки, створити умови, за яких алгоритм помилково визначить мирний об’єкт як загрозу. Людина-оператор також може не встигнути втрутитися, якщо система працює в автоматичному режимі та ухвалює рішення за секунди.

Ще складнішою є проблема межі між допоміжним програмним забезпеченням і повністю автономною зброєю. Якщо алгоритм лише сортує інформацію та показує оператору потенційні цілі, остаточне рішення формально залишається за людиною. Але якщо програма визначає пріоритет об’єктів, розраховує момент атаки й автоматично запускає боєприпас, рівень її самостійності стає значно вищим. Саме тому держави по-різному трактують поняття автономності та людського контролю.

Можливі наслідки відсутності єдиних правил

Вилучення вимог про обов’язкову перевірку цілей людиною може послабити міжнародні гарантії безпеки. У такому разі кожна держава самостійно визначатиме, наскільки автономною може бути її зброя, у яких умовах дозволяється її застосування та який рівень нагляду вважається достатнім. Через різні підходи одна й та сама технологія може бути дозволеною в одній країні та неприйнятною в іншій.

Відсутність спільного стандарту здатна прискорити гонку військових технологій. Якщо одна держава почне широко використовувати системи, які самостійно визначають цілі, інші можуть сприйняти це як безпосередню загрозу. Тоді уряди будуть змушені швидше розробляти власні автономні комплекси, навіть якщо їхня надійність і безпека ще не перевірені належним чином.

Таке суперництво може ускладнити дипломатичні переговори. Країни неохоче розкривають характеристики військових програм, принципи роботи сенсорів і правила застосування озброєнь. Через це міжнародний контроль ризикує залишитися декларативним, якщо держави не погодяться на зрозумілі механізми перевірки, звітності та розслідування інцидентів.

Серед можливих запобіжників експерти називають обов’язкове тестування автономних систем у різних умовах, регулярну перевірку програмного забезпечення, обмеження зон і часу їхньої роботи, а також постійний нагляд підготовленого оператора. Важливою вимогою може стати наявність функції негайного скасування команди або повного вимкнення системи, якщо її поведінка відхиляється від установлених параметрів.

Не менш важливо забезпечити фіксацію всіх дій алгоритму. Журнали команд, дані сенсорів, рішення оператора та результати атаки мають зберігатися для подальшого аналізу. Це дозволить встановити причину помилки й визначити відповідальних осіб. Без таких записів розслідування може перетворитися на суперечку між військовими, виробниками та політичним керівництвом.

Дискусія щодо документа ООН показує, що проблема військового штучного інтелекту виходить далеко за межі технічного питання. Йдеться про принципову відповідь на те, чи може машина самостійно вирішувати, хто або що стане об’єктом атаки. Для одних держав автономні системи є способом підвищити обороноздатність і зменшити ризики для власних військових. Для інших вони становлять загрозу міжнародному гуманітарному праву та створюють небезпечну дистанцію між рішенням про удар і відповідальністю людини.

Подальші переговори визначатимуть, чи зможе міжнародна спільнота встановити мінімальні правила для автономної зброї. Навіть якщо повної заборони досягти не вдасться, важливим кроком можуть стати вимоги щодо людського контролю, прозорості, перевірки алгоритмів і відповідальності за наслідки їхнього застосування. Без таких гарантій розвиток військового штучного інтелекту може випередити створення механізмів, здатних захистити цивільне населення.