4/27/2021

AIがハッキングを始めるとき (ブルース・シュナイアー)

シュナイアーのブログより

今すぐ心配する必要がないと思うなら、AIがハッカーになる世界を考えてみて下さい。

ハッキングは人類と同じくらい古いものです。私たちは創造的な問題を解決できる者です。抜け穴を悪用し、システムを操り、より多くの影響力や権力、そして富を求めて努力します。しかし、これまでハッキングはもっぱら人間だけがやってきました。しかし、そう長くはありません。

私が発表したばかりのレポートにもあるように、人工知能はやがて社会、経済、政治のあらゆるシステムの脆弱性を見つけ出し、前例のないスピード、規模、範囲で悪用するようになるでしょう。人類をハッキングした後、AIシステムは他のAIシステムをハッキングし、人間は巻き添えを食うだけになるでしょう。

少し大袈裟かもしれませんが、これには遠い未来のSF技術は必要ありません。私は、AI学習のフィードバックループが人間の理解を超えるほど速くなるというAIの「シンギュラリティ」を想定しているわけではありません。知的なアンドロイドを想定しているわけでもありません。悪意があるとも思っていません。これらのハッキングのほとんどは、AIの研究の大きなブレークスルーを必要としません。すでに実現していることです。しかし、AIがより洗練されるにつれて、私たちはそれが起きていることすら気付かないようになるでしょう。

AIは人間のように問題を解決するわけではなく、人間よりも多くの種類の解決策を検討するのです。私たちが考えつかないような複雑な道をたどることもあるでしょう。これが問題になるのは、「説明可能性の問題(explainability problem)」と呼ばれるものがあるからです。最新のAIシステムは基本的にブラックボックスです。データを入力すると、答えが返ってきます。プログラマがコードを見ても、システムがどのようにして結論を出したかを理解することは不可能かも知れません。

2015年、ある研究グループは、「Deep Patient」というAIシステムに、約70万人の健康・医療データを与え、病気を予測できるかどうかを検証しました。予測はできましたが、Deep Patientは診断の根拠についての何の説明もなく、研究者たちもどうやって結論を出したのか分かりません。医師は、コンピュータを信頼することも無視することもできますが、その信頼は盲目的なままです。

研究者たちは自分自身を説明できるAIの研究を進めていますが、能力と説明可能性の間にはトレードオフの関係があるようです。説明は、人間が使う認知的な略語で、人間が意思決定を下すときに適しています。AIに説明を強いることは、AIの意思決定の質に影響を与える新たな制約になるかも知れません。今のところ、AIはますます不透明になり、説明が難しくなっています。

これとは別に、AIは報酬ハッキング(reward hacking)と呼ばれる行為を行うことがあります。AIは人と同じように問題を解決するわけではないので、人間が予想もしないような解決策に必ず行き当たりますし、中にはシステムの意図を覆すものもあります。これは、AIが、人間が共有している当然のことと考えている意味、コンテキスト、規範、価値観などを考慮して考えていないからです。この報酬ハッキングでは、AIの設計者が望んでもいない方法で目標を達成することがあります。

例えば、サッカーのシミュレーションでは、AIがボールを蹴って境界線を越えた場合、ゴールキーパーがボールを投げ入れてゴールが無防備になると理解したと考えてみましょう。また、別のシミュレーションでは、AIが走る代わりに、遠くのゴールラインの上に落ちることで、自分の身長を高くしてゴールすることができると考えました。また、ロボット掃除機は、物にぶつからないこと学習する代わりに、物にぶつかったことを知らせるセンサーがないところでは、後ろ向きに運転することを学習しました。ルールに問題や矛盾、抜け穴があり、それらの特性がルールで定義された受け入れ可能な解決策につながるのであれば、AIはこれらのハックを見つけ出します。

このハッキングの問題は、子供の頃にミダス王の話で学びました。ディオニュソス神に願いを叶えてもらったミダスは、触れるすべてのものが金に変わるようにお願いします。しかし、食べ物も飲み物も娘もすべて金になってしまったため、彼は飢えて悲惨な思いをすることになります。これは仕様上の問題で、ミダスが間違った目標をシステムにプログラムしてしまったのです。

魔神は、願い事の言い回しにとても正確で、意地悪なペダンチックになることがあります。私たちはそれが分かっていても、魔神を出し抜く方法はありません。あなたがどんな願い事をしても、魔神は必ずあなたが望んでいない方法でそれを叶えてくれるでしょう。彼はあなたの願いをハッキングします。人間の言語と思考では、目標と願望は常に仕様が曖昧になります。私たちは、すべての選択肢を説明したり、適用可能なすべての注意事項、例外、前提条件を含めることはできません。私たちが指定する目標は、必然的に不完全なものになります。

人間はほとんどの場合、暗黙のうちにコンテキストを理解し、通常は誠意を持って行動しますが、AIに目標を完全に指定することはできません。また、AIはコンテキストを完全に理解することはできないでしょう。

2015年、フォルクスワーゲンは排出ガス規制試験で不正行為を行なっていることが発覚しました。これはAIではなく、人間のエンジニアは普通のコンピュータをプログラムして不正行為を行なったものですが、問題をよく表しています。フォルクスワーゲンは、排出ガス制御試験を検知し、それとは異なる動作をするようにエンジンをプログラムしました。彼らの不正行為は何年も発見されないままでした。

自動車のエンジン制御ソフトウェアを設計して、排出ガス規制試験に合格しつつ、最大限の性能を発揮できるようにして下さいと言われたら、不正行為をしていることを理解せず、不正行為をするようなソフトウェアは設計しないでしょう。しかし、AIの場合はそうはいきません。AIが、既成概念にとらわれない思考をするのは、既成概念を持たないからです。フォルクスワーゲンの解決策が、他人に害を及ぼし、排出ガス規制試験の意図を損ない、法律に違反していることを理解できないのです。プログラマが、試験時に異なる動作をしないという目標を指定しない限り、AIは同じハックを思い付くかも知れません。プログラマは満足し、経理担当者は有頂天になるでしょう。そして、説明可能性の問題から、AIが何をしたのか誰も気付かないでしょう。確かに、フォルクスワーゲンの話を知っていれば、その特定のハッキングを避けるための目標を明示的に設定することができます。しかし、魔神の教訓は、予期しないハッキングが常に存在するということです。

AIによるハッキングは、現実の世界でどの程度実現可能なのでしょうか? AIが新しいハッキングを行うことができるかどうかは、モデルとなるシステムに大きく依存します。 AIが問題の最適化に着手したり、まったく新しい解決策をハッキングするためには、コンピューターが理解できる方法で環境のすべてのルールを形式化する必要があります。AIでは目的関数として呼ばれる目標を設定する必要があります。そして、AIが改善できるように、AIがどれだけうまく機能しているか、何らかのフィードバックが必要です。

時には、これは簡単なことです。チェスでは、ルール、目的、フィードバック — 勝ったのか負けたのか? — すべて正確に指定されています。そして、混乱させるものが外にあることを知るコンテキストがありません。これが、現在のゴールと報酬ハッキングの例のほとんどが、シミュレーション環境から来ている理由です。これらは人工的で制約があり、すべてのルールがAIに指定されています。他の多くのシステムに内在する曖昧さは、結局、AIハッキングに対する目先のセキュリティ防御になります。

これが面白いのは、明確に指定されていて、ほぼ完全にデジタル化されているシステムです。税法のようなガバナンスのシステムを考えてみて下さい。入力と出力を持つ一連のアルゴリズムです。おおよそアルゴリズム的に扱いやすい金融システムについて考えてみてください。

世界中の法律や規制、リアルタイムの金融情報など、関連すると思われるあらゆる情報をAIに装備させ、「最大の利益(maximum profit)」という目標を与えます。私が思うに、これはそれほど遠く未来の話ではなく、その結果は様々な斬新なハッキングが行われるでしょう。

しかし、AIの進歩は不連続であり、直感に反しています。簡単そうに見えることが難しいことになり、難しいように見えることが簡単なことになります。ブレークスルーが起こるまで分かりません。

AIがハッキングを始めると、すべてが変わります。AIは人と同じように制約されたり、同じような限界を持つこともありません。AIは、ハッキングのスピード、規模、範囲を、私たちが準備ができていないスピードと規模で変化させるでしょう。例えば、AIテキスト生成ボットは、ソーシャルメディア上に数百万単位で複製されます。AIは24時間体制で問題に取り組み、何十億ものメッセージを送信し、人間による実際のオンライン・ディスカッションを圧倒するでしょう。私たちが見ている騒々しい政治的議論は、ボット同士で議論するものになるでしょう。それらは、私たちが普通のことだと思っていることや、他人が考えることに、人為的な影響を与えることになるでしょう。

また、AIシステムの範囲が広がることで、ハッキングの危険性も高まります。AIはすでに私たちの生活に関する重要な決定を行なっています。仮釈放、銀行ローンの受理、大学への進学、就職など、これまで人間だけが行うものと考えられていた決定です。AIシステムの能力が向上すればするほど、社会はより多くの、そしてより重要な決定をAIシステムに委ねることになるでしょう。このようなシステムのハッキングは、より大きな損害をもたらすでしょう。

米国の税法全体をAIに与えたらどうなるでしょうか? あるいは、多国籍企業の場合、全世界の税法を教えたとしたら? 言われなくても、デラウェア州で法人を設立し、パナマに船を登録するのが賢い方法だと分かるでしょうか? 私たちがまだ知らない抜け穴をどれだけ見つけることができるでしょうか? 数十? 数千? 私たちには分かりません。

ハッキングに対処する社会システムはありますが、それはハッカーが人間だった頃に開発されたもので、人間のスピード、規模、範囲を反映しています。国税庁は、新たに発見された数十の、ましてや数千の税の抜け穴に対処することはできません。想定外の、しかし合法的な金融システムのハッキングを発見するAIは、私たちが回復するよりも早く市場を混乱させる可能性があります。

レポートで説明したように、ハッキングは攻撃者がシステムを悪用するために利用できる一方で、防御側がシステムにパッチを適用して保護するためにも利用できます。つまり、長期的に見れば、私たちのソフトウェアは、税法、金融システムなどは、導入前にパッチを適用できるため、AIハッカーは防御側に有利になります。もちろん、移行期間は、ハッキングされるであろうレガシーなルールがあるため危険です。そこで必要となるのがレジリエンス(回復力)です。

ハッキングに迅速かつ効果的に対応できる、弾力性のある統治構造を構築する必要があります。税法の改正に何年もかかったり、政治的な理由で立法上のハッキングが定着してパッチを当てることができなくなったりしては意味がありません。これは現代のガバナンスの難しい問題です。また、情報化時代のスピードと複雑さで動作できるガバナンス構造を構築することと、本質的に異なる問題ではありません。

私が説明してきたのは、人間とコンピュータのシステム間の相互作用と、コンピュータが人間の役割を果たすようになった時の固有のリスクです。これもまた、AIハッカーよりも一般的な問題です。また、技術者や未来学者が書いている問題でもあります。テクノロジーに未来を託すのは簡単ですが、未来におけるテクノロジーの役割を社会で決めた方が、私たちにははるかに良いと思います。

AIがオンラインになり、私たちの世界をハッキングし始める前に、これはすべて私たちが今考えなければならないことなのです。

このエッセイはWired.comに掲載されました