DeepMindの重要性について

要約

本記事では、人工知能の分野で重要な進展を遂げているロンドンの研究会社DeepMindの意義について探求します。彼らが開発した、あらゆるAtariゲームを打ち負かすことができるAIシステムについて、Montezuma’s Revengeの問題を好奇心に基づく報酬で解決したこと、AI研究が人間の知能と行動に新たな洞察を与えていることについても論じます。

DeepMindの大きな挑戦

2012年、ロンドンのDeepMindの研究者たちは、単一のAtariゲームだけでなく、すべてのAtariゲームを打ち負かすAIシステムを作成することを目指しました。各ゲームには独自のルールと課題があり、これは大きな挑戦でした。彼らはDeep Q Network（DQN）と呼ばれるシステムを開発し、わずか2年未満で超人的な性能を発揮しました。DQNは、Breakoutではプロの人間のゲームテスターの得点の13倍、Boxingでは17倍、Video Pinballでは25倍の得点を獲得しました。

強化学習とDeep Q Network

AIを使ったAtariゲームのプレイには、報酬を最大化するようにシステムが設計された強化学習が必要です。この場合、報酬は単純にゲームの得点でした。この基礎となる目標は、システムがどのボタンを押し、いつ押すことで最も多くのポイントを獲得できるかを学習するように駆動します。DQNはモデルフリーなアプローチであり、環境を明示的にモデル化する代わりに、画面上の画像に基づいて、異なるボタンを押すことで将来どのくらいのポイントを獲得できるかを予測するように学習します。

Montezuma’s Revengeの難しさ

しかし、1つの注目すべき大きな例外がありました。Montezuma’s Revengeをプレイしても、DQNは1ポイントも獲得できませんでした。何がこの特定のゲームをAIにとって非常に難しくしていたのか、そしてそれを解決するには何が必要だったのでしょうか？答えは、最初のポイントを獲得するために一連のアクションを実行する必要があったということにありました。

好奇心に基づく報酬の重要性

ここで、DeepMindの研究者たちは、巧妙な解決策を思いつきました。研究によると、乳幼児は、以前に見たことのない写真には以前に見たことのある写真よりも長く注目する傾向があります。新奇性には何らかの本質的な報酬があるようです。研究者たちは、画面上に現れる異常なまたは新しい画像が、ゲーム内の実際のポイントと同じくらい報酬があるようにしました。突然、DQNは以前とは全く異なる振る舞いをするようになりました。それは、鍵をつかんでロックされた扉を通り抜けて脱出するために、100ポイントの価値があるからではなく、私たちがそうするのと同じ理由で、部屋を探索したがったのです。この新しい動機により、DQNは最初の鍵をつかむだけでなく、寺院の24の部屋のうち15まで探索しました。

好奇心を追求するシステムの欠点

ただし、新奇性に基づく報酬を強調することは、解決するよりも問題を引き起こすことがあります。ゲームを長時間プレイし続けた新奇性を追求するシステムは、最終的にモチベーションを失います。すべて見たら、どこにも行かなくてもいいですよね。また、テレビなどに遭遇した場合、システムは凍りついてしまいます。常に新しい画像にさらされ続けることは、本質的に麻痺させるものです。

人間の知能と行動に関する洞察

ここでのアイデアとインスピレーションは、両方向に向かっています。DQNを難しいゲームに打ち勝たせる方法など、実用的な問題に直面したAI研究者たちは、人間の知能の専門家にアイデアを求めるようになっています。同時に、AIは、退屈、うつ病、中毒、好奇心、創造性、遊びなど、私たちが立ち往生したり、脱出したりする方法について新しい洞察を与えてくれています。