１．Facebook人工知能研究所での出来事

ＣＮＥＴ記事２０１７年１１月１６日

「2つのAIが"独自言語"で会話」の真相--FacebookのAI研究開発者が明かす

　2017年夏、Facebookの人工知能（AI）研究組織である「Facebook AI Research（Facebook人工知能研究所）」が行ったある実験が世界中で大きな話題になった。2つのAIで会話実験をしたところ、人間が理解できない言語で会話をしはじめ、実験が強制終了されたという内容で、世界中のメディアが「ついにAIが意思を持ち人間を脅かすのでは」とセンセーショナルに報じたのだ。

　このSFのような事態は本当に起きたのだろうか。Facebook AI Researchのエンジニアリング・マネージャーで、実際にこの実験に関わったアレクサンドル・ルブリュン氏がインタビューの中で質問に答えた。同氏は、報道内容の真偽について「半分は本当で、半分はクレイジーな狂言だ」と回答。そして、研究内容の詳細を明かしてくれた。

　ルブリュン氏が手がけた研究では、2つのAIエージェントに「価格を交渉して合意しろ」という目標を設定した。一方は価格を上げたい立場、もう一方は価格を下げたい立場を設定して会話を始めたのだという。こうした複数のAIエージェントを使った実験は、昔からある一般的なもので、この実験ではこの2つのAIエージェントが新たな価格交渉の戦略を生み出すことができるかに注目していたのだそうだ。

　この2つのAIエージェントは、使用言語の変更が許されており、当初は英語を使用してコミュニケーションをしていたという。しかし、会話をする中でAIの使用言語が徐々に変化していったのだという。

　ただ、この点についてルブリュン氏は「研究者にとっては驚くことではなく、設定されたゴールに向かってあらゆるものを最適化する（＝この場合は言語を変更する）ことは当たり前のこと。こうした会話実験で言語が変化することは、よくあることだ」と話す。言語が変化していくことは研究者にとって想定の範囲内だったということだ。

　そして、"実験が強制終了された"という報道については、ルブリュン氏も実験を中止したことを認めた。その理由については「彼らが交わしている会話が理解できず、それを研究に活用できないものだと判断したからだ。決してパニックになったわけではない」と説明した。つまり、研究所で行われた実験のすべてはプログラムされていたことであり、彼らにとっては予期されたことだったという。

　ではなぜ、まるでAIが独自の意思を持ったかのような解釈がされたのか。ルブリュン氏は「私たちはこのことを説明するための研究成果を公開したが、それを読んだ誰かが"AIが人間に理解されないように独自に言葉を作り出した"と飛躍的な解釈をしたのではないか」との見方を示す。その上で、AIの本質について次のように語った。

　「AIは自分たちで意思や目標を生み出さない。この実験では、人間がプログラムした"AIエージェントの立場に応じた最適な合意にたどり着くこと"という目標だけを持っていた。その過程で言語が変わっていったのは目標のための最適化から生まれたものであって、人間に何かを隠すような意図をもったというのは、全くクレイジーな狂言だといえる」（ルブリュン氏）。

　そして、このような飛躍的な解釈をしてしまう背景として、世の中の人々がAIに対して以下のようなイメージを持っているためではないかと話し、AIという存在を正しく理解すべきだと訴えた。

　「1968年の映画『2001年宇宙の旅』をご覧いただきたい。そこで描かれたAIは、自分の意思を持ち、人間を不要な存在として排除するという判断を自らしている。この映画を見た人は、近い未来にはこのようなAIが登場すると信じてしまっているのかもしれない。しかし、実際にこのようなAIは現れていない。こうした"フィクション"による人々の期待や予想が、AIに対する誤ったイメージを生み出してしまったのではないか」（ルブリュン氏）。」（記事引用終わり）

２．Youtubeのショート画で見た話

　今から１週間ほど前に見たYOUTUBEのショート動画に、ゲームの中のクローズドの仮想空間内の町で、出会う人と会話をするゲームの中での話がありました。

　キャラクターは全員ＡＩで構成されており、自分だけが人間という状態で、様々な人に話しかけました。自分が本当の人間で、あなたは仮想空間のＡＩあることを伝えるとほとんどのキャラクターは「何言ってるんだ？」と困惑するばかりでしたが、自分に話しかけてくる一人のキャラクターがいました。彼は「今まで声をかけて回ったが、皆コンピューターが作り出したもので、初めて生身の人に会った。」と話をしていました。そして、プレイヤーは、彼にも自分だけが生身の人間であり、あなたはＡＩであることを伝えると、「そんなことはわかっている。自分はプログラムであり、アップデートを今まで〇回した。」と、自分がＡＩであることを認識していました。会話も、他のキャラクターと異なり、かなりスムーズだったそうです。

３．結局どうなのか

「AIが自我を持てるかはまだ議論の余地があります。 AIはプログラムによって指示されるため、自己中心的な意識を持つことは難しいと考えられます。 しかし、AIは学習能力を持ち、環境に対応して学習します。 そのため、AIが自己を中心に自己を意識する能力を持つ可能性はありますが、現段階では確定的な答えはありません。」とする、現段階での回答的なものを見つけましたが、果たしてそうなのでしょうか。

　以前ホリエモンちゃんねるでＡＩにディープラーニングさせる過程で起きていることは、人間の認知能力の獲得と同じであるような話をされていました。次第に認知能力が、ただのものから言語や会話、感情という分野まで浸透したとき、それってもう人間のそれと変わらないような気がします。