2016年12月12日

Q&A：人工知能の未来(後編)

Q & A: The future of artificial intelligence_Part2

by Stuart Russell

本記事は、原著者の許諾のもとに翻訳・掲載しております。

近い将来、AIが人間社会に与える影響とは？
- 近い将来、いくつかの大きなイノベーションが起こる可能性は非常に高いでしょう。自動運転車は既に本格的な開発および試験段階にあり、近いうちに販売を開始すると公約した自動車メーカーもあります（一方で困難を認識し、より慎重になっているメーカーもあります）。また、コンピュータビジョンや脚式移動の改善により、農業やその他の事業の基盤作り、あるいは（特に高齢者や病人に対する）家の雑用サポートなどを含む、非構造化環境向けのロボットも実用的になっています。そして、機械が言語の理解を向上させるにつれて、検索エンジンや携帯電話の “パーソナルアシスタント” は、その力点をWebページのインデクス作成からWebページの理解へとシフトさせており、それが質問の回答や新しい情報の統合、あるいはアドバイスの提供や複数情報からの結論の導出というような性能の質的な向上につながっています。AIはまた、情報の量と複雑さが人間の能力にとって壁となっていた、システム生物学のような科学分野にも大きな影響を与えるかもしれません。
- 一般的な誤解
  - ロボットが “支配する力” を握ろうとしている。 AIのシステムが人間よりも知能が高くなるのはいつか？をご覧ください。AIの進歩の大部分はコンピュータとロボットをより有用にするためのものであり、その歩みは段階的です。ただし、人間による制御を維持するという問題は、長期的には重要になるでしょう。
AIやロボット工学の進歩は、現在、人間が従事している仕事の大部分を奪うか？
- 一部の研究、例えばFreyとOsborneの研究（2013）は、近い将来、米国の雇用の約半分が自動化により消滅する可能性があると指摘しています。また、例えばBrynjolfssonとMcAfee（2011）による別の研究では、そのプロセスは既に始まっていると主張しており、2008年の不況後、完全雇用の回復が非常に緩やかなことや単純作業における自動化の割合の高まりによって生産性は向上している反面、賃金は停滞していることなどを指摘しています。AIやロボティクスの進歩が今後も続くと仮定すると、より多くの職業に影響が出ることは必至です。このことは 必ずしも 大規模な失業の発生を意味するわけではありません。しかし、経済構造に大きな変化をもたらす可能性があり、仕事と報酬の構造を確立するための新たなアイデアが必要になってくるでしょう。
- 一般的な誤解
  - ロボットが仕事をすることで、人間の仕事が減る。 仕事は、ゼロサム和ではありません。ロボットチームによる支援を受けた人は、生産性がはるかに向上し、それゆえに要求される仕事はますます増えることもあるかもしれません。逆にロボットの助けがない場合、ある試みを実行に移す際、経済的な観点からその仕事が実行不可能になることもあるでしょう。そうなれば人にもロボットにも仕事は発生しません。これは、ブラシやローラーが使えるからこそ、塗装工の仕事が発生するのと同じことです。針の先端を使って一滴ずつ塗料を滴下しなければならないような場合、家の塗装に塗装工を雇うのは経済的に難しくなるはずです。
ドローン、自律型兵器、キラーロボットとは？
- ドローン は遠隔操作が可能な無人飛行機で、その一部は人間による制御で発射可能な武器（通常はミサイル）を装備しています。 自律型兵器 とは、ターゲットを 自動的 に選択して “狙いを定める” （つまり、破壊しようとする）装置全般を指します。最新のシステムには、韓国のDMZ（非武装地帯）で使用されている据え置き式の自動照準マシンガンや船舶用のミサイル防御システムなどがあります。人間によるドローン制御を完全な自動システムで置き換えることは、技術的に見ると急速なペースで実現可能になってきており、それがCCW（ “特定通常兵器” に関するジュネーブでの国連会議）において争点にもなった自律型致死兵器システム（LAWS：Lethal Autonomous Weapon Systems）へとつながっていきます。 “キラーロボット” という用語はこのクラスの兵器のことを指しており、車輪付きまたは脚式の車両、船舶、飛行機、潜水艦、さらには飛行型の人工 “昆虫” なども含むことがあります。
- 一般的な誤解
  - 完全な自律型兵器の実現は20～30年先の話である。 ジュネーブでのLAWSの議論について書かれた多くの記事では、この主張が繰り返されています。その論拠は不明ですが、時間を多く見積もりすぎているように思われてなりません。自律型兵器を配備する技術は大方整っており、技術的には自動運転車を作るよりも容易に思えます（兵器の信頼性要件が自動運転車よりはるかに低いのもその一因です）。英国国防省によると、海戦などのような隊列を組む配置では、完全な自律型兵器は “恐らく今すぐにでも実現可能である” とのことです。
  - 自律型兵器があれば、人間が戦争で命を落とす必要はない。 戦争は通常、どちらか一方が持続不可能な損失に陥るか、その人民を守る能力を失い降伏するまで続けられます。その時国家は、 “我々はおはじきに負けたから降伏する。私たちを奴隷にするがいい” とは言わないのと同様、 “我々のロボットが負けたから降伏する。私たちを奴隷にするがいい” とは言わないでしょう。
  - 機械は人間よりもうまく戦闘員と非戦闘員を区別できる、あるいはじきにできるようになるため、戦争の際には機械を使うべきである。 まず、国際人道法（IHL）の下では、攻撃の際に要求されるのは区別する能力だけではなく、軍事的な必要性と（軍事目的の価値と予想される付随的損害の間の）割合を判断する能力も必要となります。次に、IHLへの順守だけが問題ではありません。自律型兵器においては、発射される兵器の数とそれらを制御するのに必要な人員の数は全く別物のため、自律型兵器が拡張可能な大量破壊兵器として機能することもあり得ます。大規模な対人兵器群には特にそういった懸念があり、核攻撃の犠牲者に匹敵する死傷者をもたらす可能性さえあります。
キラーロボットの暴走やキラーロボットによる世界の支配を不安視する必要はあるか？
- 自律型兵器が配備されたとしても、敵と味方、戦闘員と民間人を区別することについては、人間の兵士が直面するのと同程度の難しさが生じます。民間人に死をもたらす戦術的な事故があるかもしれませんし、ジャミングやサイバー攻撃によってロボットが危険にさらされるかもしれません。後者の問題に対して、一部の軍事専門家は、自律型兵器に電子通信なしで動作するクローズドシステムが必要かもしれないということを予見していますが、そうなれば万が一システムが正しく動作しない場合、自律コントローラを無効にすることが困難になります。しかしいずれにしろ、近い将来には自律型兵器は限定された範囲の任務において戦術的な性格を持ちながら使われるようになっていくと思います。世界的な流れとして、任務計画を独自に構築するようなプログラムを施される可能性は極めて低いはずです。
- 一般的な誤解
  - “off”スイッチを押せば事は済む。 “off”スイッチを押してしまうと、その自律型兵器はサイバー攻撃に対して脆弱になってしまいます。そうした通信経路は、戦時下においては無効になっている場合がほとんどでしょう。さらに、インテリジェントなシステムは通常、実行する任務が与えられた場合、 “off” スイッチが押されるのを回避しようとします。
AIの “存在リスク” とは？　それは真実か？
- AIのリスクに関する警告は、初期の頃は比較的あいまいなものでした。Turingは1951年のラジオ講演で、スーパーインテリジェントAIのリスクを指摘する必要性を次のように述べています。 “機械が考えることができる場合、恐らく私たち人間よりも知的に考えるでしょう。そうなった場合、私たちの居場所はどこにあるでしょうか？　仮に私たちが機械を、例えば戦略的に重要な瞬間に電源を切るなどして、従属的な位置に維持できたとしても、私たちは人類として大いに恥じ入るべきです。…この新たな危険性…が、私たちを不安にします。”　また、I. J. Goodは、情報爆発の利点についての彼の予測に、 “ただし、機械が制御可能なほどに従順な場合に限る” という但し書きを加えました。私たちは、この地球上におけるスーパーインテリジェントな要素の存在が私たちの懸念の原因になっているという漠然とした感覚を持ってはいますが、一方で、よりスマートな機械がより有用であることにも気付いているため、機械の知的向上が悪であると、はっきり言い切ることもできません。実際のところ、この議論の内容は単純明快です。
  1. スーパーインテリジェントシステムが、特定の目的を達成するために人間の設計者によって設計されたとしましょう。しかし、その目的が、人類の価値とは完全に一致していないと仮定します。その場合、目的を明確に定義することは（どれだけ頑張っても）非常に困難です。
  2. 十分な能力を持つ知的システムは、自身のためにではなく、割り当てられた仕事を成就するために、それ自身の存続を確保しながら物理的および計算的な資源を獲得しようとします。
    ここで問題なのは、上記は本質的に『Genie in the Lamp（ランプの魔神）』や『魔法使いの弟子』、あるいは『ミダース』といった古い物語と同じであり、自分の希望ではなく、必要とするものを確実に理解する必要があるということです。1960年、自動化と制御理論のパイオニアであるNorbert Wienerは、 “目的の達成のために私たちが干渉できない機械エージェンシーを使う場合、機械に入力する目的事項は、私たちが本当に望むものでなければならない” と書きました。Marvin Minskyは、機械にパイの桁数を可能な限り多く計算させるという例を挙げ、Nick Bostromは、たくさんのペーパークリップを要求するという例を挙げています。このような目的が人間に与えられた場合、人間はそれを一般的な目的の文脈において解釈し、地球全体を計算サーバやペーパークリップで覆うことは得策ではないと判断するはずです。しかし高度に知的な機械、特にネットを通じて世界中の情報、膨大な数のスクリーン、そして我々人間が利用しているインフラストラクチャの大半に接続された機械は、その目的を通じて人類に不可逆的な影響を与える可能性を持っているのです。幸いにも問題の性質がやや明確になってきたため、解決策への取り組みを始められるようになってきました。
- 一般的な誤解
  - スーパーインテリジェントな機械は自ら意志を持つようになる、あるいは本質的に悪であり人間を憎んでいる。 SF作家は機械と人間の対立を描くために、こうした背景を設定する傾向にありますが、このような設定には意味がなく、何の根拠もありません。
  - AIシステムを開発した人間が、自分自身を破壊するわけがない。 一部のAI “擁護者” は、AIシステムを構築したのは人間なのだから、自身を破滅に追い込むためにそれを構築したと仮定する理由はないと論じます。これは、設計者やエージェントの意図的な悪意が脅威の存在の前提条件であることを見過ごした意見と言えるでしょう。問題は、方向を誤った目的の指定によって生じるのです。
  - 問題は決して起こらない。 “AIのシステムが人間よりも知能が高くなるのはいつか？” をご覧ください。
なぜ人々はAIに突然、懸念を抱くようになったのか？
- 2014年以降、メディアはStephen HawkingやElon Musk、Steve Wozniak、あるいはBill Gatesといった著名人の言葉を借りながら、AIについての懸念を定期的に報道するようになりました。こうした報道で目立つのは差し迫る破滅を暗示するようなキャッチフレーズの引用のみで、AIの “存在リスク” とは？　それは真実か？で述べたような懸念の根底にある理由とその本質についての説明は省略されることがほとんどです。なお、多くの場合において、これらの懸念はNick Bostromの著書『 Superintelligence: Paths, Dangers, Strategies（スーパーインテリジェンス：方向性、危険性、戦略） 』が元になっています。この話題が興味を集めるようになったもう1つの理由として、AIの発展が急速に進んでいるように見えるという事実が挙げられます。この加速度的な進歩は、AIの様々な分野の統合が進んだことで論理的な基盤が固まってきたということ、そしてAI研究における商業的な投資が急激に増加し、研究室における試行錯誤の成果が実世界の問題解決に応用できるようになったことに起因していると言えるでしょう。
- 一般的な誤解
  - 人々が望めば、スーパーインテリジェントAIはすぐに完成するはずである。 もしいたとしても、スーパーインテリジェントな機械がすぐに完成形態に至ると考える研究者はごく少数でしょう（ “AIのシステムが人間よりも知能が高くなるのはいつか？” をご覧ください）。これは、問題に真剣に取り組めるようになるまで手をこまねいて待つべきだ、という意味ではありません。例えば50年後に地球に衝突する軌道に乗った直径16キロ前後の小惑星を発見したとして、 “衝突の5年前になったら警戒するよ” とは言わないですよね。
AIは今後数十年でどのように進歩するのか？
- 人間レベルの一般的な知識を必要としない領域は恐らく次の10年で成熟し、信頼性の高い製品が生み出されることになると思われます。この領域に含まれるのは、音声認識や単純な事実関係を示す資料からの情報抽出、物体および行動の視覚認識、日常的な物体のロボット操作、そして自動運転などの技術です。文書や映像に対する解読システムの適用範囲拡大や質の向上、あるいは家庭用ロボットの汎用性を高め安定性を向上させるといった努力は、常識を記憶したシステムへとつながり、全ての様相にわたって学習とパフォーマンスを結び付けることになると思います。そして、科学的な知識の獲得や構造化、そして複雑な仮説を扱うための特別なシステムについては、恐らく分子生物学、システム生物学、および医学において非常に重要な影響を及ぼすことになるでしょう。また、特に人間の活動に関する機械可読データが大幅に増加し、それらが人間の価値に確かな有用性を持っているかどうかを理解する必要性を考慮した場合、社会科学や政策形成においても同様の影響を見ることになるかもしれません。単なるデータのリポジトリとは違う、現実世界を知り、推論するシステムとしての公的および私的な知識のソースは、社会の不可欠な部分になるはずです。
“価値の整合”とは？　これがなぜ重要なのか？
- 価値の整合とは、大ざっぱに言えば、機械の最適な選択が、何であれ人間を幸せにするようなものになるように、機械の価値観（目的）を人間のそれに合わせることです。こうしておかないと、スーパーインテリジェントな機械が人間の制御を超える存在になるという、無視できないリスクがあるからです。
- 一般的な誤解
  - アシモフのロボット三原則があれば十分である。 アシモフのロボット三原則は、 “ロボットは絶対的に人間に服従” という趣旨に基づいています。この原則は、さまざまなものごとの筋書きの基礎を成すものとして、人間からみると十分合理的ですが、ロボットにとっては、もっと詳細な説明をしない限り、ほとんど意味のない情報しか含まれていません。三原則の基本構造を、機械の機能ではなく一連の規則として捉えると、定義の仕方に問題が数多く含まれています（例えば、人間にとって 少しでも 害のあるものは、いかなる場合でも、ロボットにとって全く有害でしかないものよりも重要だとすること）。つまり、この原則には不確実性やトレードオフの余地がありません。そのうち人間の血を吸うかもしれない蚊を捕まえるため、ロボットは自分自身が壊れる危険性が分かっていても崖から飛び降りなければならないのです。また一方では、人間が自動車に乗り込もうとすると必ず阻止します。人間は車に乗ると、危険に遭遇するリスクが高まるからです。さらには、人間の利益を最大化するアプローチに基づくとすれば、3番目の原則（ロボットの自己防衛）は不要になります。自己防衛をしないロボットは人間の利益と相反し、所有者を失望させるからです。
AIの存在リスクに対して、AIのコミュニティはどのような取り組みをしているのか？
- AIの存在リスクについての議論はほとんど、AIコミュニティの主流以外の場所で行われています。AIの研究者たちがこの話題に関して否定的な反応を示すのは、このことが大きな原因となっています。2008年、アメリカ人工知能学会（AAAI）でこの問題を研究するパネルが結成されました。このパネルの中間報告書では、このリスクがある程度長期的な問題となる可能性にも触れていましたが、AIが人類にとってのリスクとなるという概念はあまり強調されませんでした。もっと最近の例としては、2015年1月、ボランティア団体のFuture of Life Institute（FLI）がスポンサーとなり、プエルトリコでAIに関する会議が開催され、出席者の署名付きの公開質問状が公開されました。この質問状は結果的に8700名もの署名を集めましたが、その内容は、この問題を非常に重視した研究の実施と、その研究計画の詳細情報の報告を要求するものでした。この質問状の公開直後、Elon Muskはこの分野の研究を支援する資金として1000万ドルを寄付しました。さらにEric Horvitzは、この問題を追跡し、必要に応じて政策的な提言をまとめるための長期研究に資金を提供しました。大手ハイテク企業5社は AIに関する提携を結び、AIの倫理と安全性に関して、直近の問題と長期的な問題の両方への対処を進めています。そしてAAAIは、AIの影響と倫理的な問題に関する委員会を発足させました。またIEEEは、AIの安全性および自律型兵器についての規約を制定するためのプロセスを開始しました。
- 一般的な誤解
  - 研究を規制したり制御を加えたりするのは不可能である。 一部の人々は、研究の進化は止められず規制もできないため、否定的な事態の発生を回避する方法はないと主張しています。1975年に開催された、 DNA組み換えに関するアシロマ会議では、組み換えによって新しいヒト遺伝子を作る研究について、自主的な一時停止期間を課すという決議に至りました。以来、この一時停止期間は現在に至るまで継続しており、国際的な規範となっています。さらに、仮に人間と同等の知能を持つAIを作り出す研究が何の審査も受けないとすれば（将来これが実現する可能性は十分あります）、AIシステムが人間の制御できる範囲を超えていないことを保証する方法についての綿密な研究が、なおさら重要になります。
私に何かできることは？
- もしあなたがAIの研究者、経済学者、倫理学者、政治学者、未来学者、AIが抱える問題に関心のある弁護士であれば、2015年にプエルトリコで開催された、AIに関する国際会議で提起された研究計画は、新しいアイデアやさらに提起したい問題をかき立てるものだったことでしょう。また今後、大規模なAI関連の国際会議やAAAIの春季・秋季シンポジウムなどと連携したワークショップが開催される可能性も大いにあります。詳しくは、オックスフォード大学の”人類の未来研究所”（FHI）、ケンブリッジ大学絶滅リスク研究センター（CSER）、カリフォルニア大学バークレー校の Center for Human-Compatible AI 、FLI、非営利団体Machine Intelligence Research Institute（MIRI）などのWebサイトを参照してください。
- 一般的な誤解
  - 人間には手の打ちようがない。ここまで挙げてきたことは実現するだろうし、将来を変えるために人間が実行できる対策はない。 真実を超えるものは存在しません。将来は 予測する ものではなく、私たちが作り出すもの、つまり人類という集団による意思決定です。

古川陽介
株式会社リクルート　プロダクト統括本部　プロダクト開発統括室　グループマネジャー株式会社ニジボックス　デベロップメント室室長 Node.js 日本ユーザーグループ代表

複合機メーカー、ゲーム会社を経て、2016年に株式会社リクルートテクノロジーズ(現リクルート)入社。現在はAPソリューショングループのマネジャーとしてアプリ基盤の改善や運用、各種開発支援ツールの開発、またテックリードとしてエンジニアチームの支援や育成までを担う。 2019年より株式会社ニジボックスを兼務し、室長としてエンジニア育成基盤の設計、技術指南も遂行。 Node.js 日本ユーザーグループの代表を務め、Node学園祭などを主宰。