AI兵器vs AI兵器の戦争は人知を超える（キッシンジャー＆エリック・シュミット）

どこまでを機械に委ね、それに伴うリスクと結果をどこまで受け入れるかについては、国によって許容範囲が異なるだろう。しかし主要国は危機が訪れる前に、こうした進化のもたらす戦略的・原理的・道徳的な影響についての対話を始めるべきだ。

危機が起きてからでは取り返しがつかない。こうしたリスクを限定する国際的な努力が欠かせない。

その際にはAIのダイナミックな性質も考慮しなければならない。ひとたび現実世界に放たれれば、AIを駆使したサイバー兵器は当初の想定をはるかに超えた適応と学習を重ねる可能性がある。こうした兵器の能力が開発者の意図を超えて変化していけば、戦闘の抑止や拡大に関する従来の計算は成り立たない。

それ故、AIが実行できる活動の範囲は、設計段階でも実戦配備の段階でも事前に設定し、人間がAIを監視し、おかしな行動を始めたらシステムを停止あるいは修正できるようにしておく必要がある。

想定外の壊滅的な事態を避けるためには、そうした制御機能を敵も味方も備えておく必要がある。

AIやサイバー兵器の能力を具体的にどこまで制限するかは難しい。こうした兵器の拡散を阻止するのも難しい。

大国が開発し、使用した能力は、たやすくテロリストや犯罪者の手に渡り得る。また核兵器を持たず、通常兵器の戦力も限られている小国でさえ、最先端のAIやサイバー兵器に積極投資すれば等身大以上の影響力を持てる。

国家（軍隊）が非致死的なタスクをAIに（場合によってはAIを運用する民間企業に）委ねる動きは止められない。例えばサイバー空間への侵入を検知し、阻止する防衛機能などだ。

人間の監督と介入は必須

デジタル化し、高度にネットワーク化された社会の「攻撃対象領域」は広すぎて、人間のオペレーターだけでは対応できない。

人々の暮らしがどんどんオンラインにシフトし、経済のデジタル化も続く今の時代には、たった1人の悪者でも、AIサイバー兵器を駆使すれば世の中を大混乱させることができる。国家も企業も、そして個人も、そのような事態を防ぐために投資すべきだ。

安全を守る最も極端な方法はネットワークを遮断し、システムをオフラインにすることだ。国家にとってはそれが究極の防御かもしれない。

しかし、そこまで極端な措置を取れないなら、サイバー攻撃への防御もAIに委ねるしかない。なにしろサイバースペースは広大で、そこで実行し得る行動パターンはほとんど無限にある。それに対処できる有効な防御システムを構築できるのは、ごく一部の国だけだろう。

もっと厄介なのは、AIで自律的に動き、かつ殺傷能力を持つ兵器システムだ。ひとたび作動すると、人間の介入なしに標的を選択し、攻撃できるシステムなどが想定されるが、ここでも人間による監視とタイムリーな介入が不可欠だ。