「グランツーリスモ・ソフィー」：AIを世界最高レベルのドライバーに育てる

AIはこれまで、チェスや将棋、碁などの戦略ゲームや、より複雑なリアルタイム・マルチプレイヤー戦略ゲームにおけるエージェントとして進化してきました。『グランツーリスモ・ソフィー』（GTソフィー）は、ポリフォニー・デジタル、ソニーAI、ソニー・インタラクティブエンタテインメントが共同開発したAIで、世界最高峰のドライバー相手のレースという、刻々と変化する状況にあわせた瞬時の意思決定が求められるリアルドライビングシミュレーターにAI技術を応用することで、機械学習を次のレベルに進化させました。

ソニーAI COOのミカエル・シュプランガーは、GTソフィーを「非常に高いレベルの運転技術を自ら学習し、『グランツーリスモＳＰＯＲＴ』の世界最高峰のドライバーと競いあうことができるようになったAIエージェント 」だと表現します。GTソフィーは白紙の状態からスタートし、深層強化学習と呼ばれる手法で学習を重ね、サーキットでまっすぐに走るのがやっとの状態から、『グランツーリスモＳＰＯＲＴ』の世界最高峰のドライバーが全力で相手するほどのレーサーへと進化を遂げました。

初めての本格的なテスト

2020年4月のソニーAIの設立と共に、GTソフィーの大規模なトレーニングが開始されました。それ以降、ソニーAIチームとポリフォニー・デジタルのチームメンバーは密接に協力しながらAIエージェントの開発および改善を行い、ついに最初の本格的なテストに臨むことになりました。

2021年7月2日に第一回目が開催されたレースイベント「Race Together」で、4体のGTソフィーからなるチームが、『グランツーリスモＳＰＯＲＴ』ドライバー世界1,400万人の頂点に立つ宮園拓真選手を含む、世界最高峰のドライバー4人で結成されたチームと対戦しました。対戦は、異なるコースと車種の組み合わせによる全3回のレースを通じて行われました。

タイムトライアルでは、人間のトップドライバーらが個別にコースに挑み記録していったタイムを、GTソフィーが更新していきます。しかし、他のドライバーと競り合うレース戦には別の難しさがありました。

「スポーツパーソンシップを正しく理解し身につけて、相手のドライバーに対して過度に攻撃的にも、過度に弱気にもならずレースを行うことの難しさを、私たちは皆過小評価していたと思います。」と、ソニーAIディレクター兼プロジェクトリーダーのピーター・ウーマンは語ります。

レースのあるべき姿

AIエージェントのパフォーマンスは、解こうとする課題の複雑さに比例します。他のレースゲームでは、レースにおける物理現象の一部のみを再現する程度のところ、ポリフォニー・デジタル代表取締役の山内一典とPDIのチームは、クルマのダイナミクスや物理法則までをも「グランツーリスモ」で忠実に再現したことから、ここでの学習はAIにとって大きなチャレンジとなります。

「クルマ文化、クルマという存在をまるごとゲームのなかに再現したいと思ったのです」と山内は語ります。また、ポリフォニー・デジタルのエンジニアであるチャールズ・フェヘイラは、エンジン、タイヤ、サスペンション、コース、クルマのモデリングなど「『グランツーリスモ』のリアルさは、我々がゲームに注ぎ込んだ細かなこだわりに由来します」と述べています。このリアリティへのこだわりこそが本プロジェクトをAIにとってユニークな挑戦とし、ソニーAIのチームとGTソフィーを新たな高みへと押し上げたのです。

大規模インフラを用いたトレーニング

GTソフィーは、運転しているクルマの速度、車輪の向き、コースの曲率などの情報をもとにとった行動に対し、正または負のフィードバックを受けることで運転を学びました。これは強化学習と呼ばれる技術です。人間がひとつのスキルに習熟するのには1万時間以上が必要と言われることを踏まえ、GTソフィーは複数の異なるシナリオを同時に辿ることで、習熟までの日数を短縮しようとします。これを実現するためには膨大な演算能力を備えた専用のソフトウェア基盤が必要になるため、SIEがソリューションを提供しました。

「一般的なAIシミュレーションでは、モデルを先に作ってからテストを行います。その後、分析した内容をもとにシミュレーションにアップデートを加えて再度テストを実行する、という流れになります。この工程は膨大な時間がかかるときもあります。そこで、SIEが誇る世界規模の最先端クラウドゲーミング・インフラを活用して、GTソフィーチームは最先端の学習アルゴリズムとトレーニング・シナリオによる、何万回ものシミュレーションを同時並行で実行し、所要時間を大きく短縮できました。」とSIEのフューチャーテクノロジーエンジニアリングのシニアディレクター、ジャスティン・ベルトランは説明します。

そして再びコースへ

GTソフィーが今度こそチーム戦を含む全てのレースを制すると関係者が期待する中、2021年10月21日に二回目の「Race Together」イベントが開催されました。その結果、GTソフィーは圧倒的な強さを見せるだけにとどまらず、第三レースの序盤でコースアウトするという厳しい状況から立ち直り、見事一位を獲得しました。三回のレースそれぞれでGTソフィーはいずれも一位と二位を獲得し、チームスコアでは人間のトップドライバーチームにダブルスコアをつけました。

無限大の可能性に満ちたゲームの未来

GTソフィーの能力は人間のトップドライバーをも凌駕することが証明されましたが、本プロジェクトの意図は、人間同士の交流をAIエージェントにより置き換えたり、減らしたりすることではありません。むしろAIエージェントによりすべてのユーザーのゲーム体験をより広げ、より豊かにすることこそが狙いなのです。ソニーAIではこれを「ゲームプレイヤー向けAI」と呼んでおり、株式会社ソニーAIの代表取締役CEO北野宏明は「私たちは人々のクリエイティビティとイマジネーションの力を解放するためのAIを作ることを目指しています」と語ります。
果たしてゲームにおいてはどのような未来が待っているのでしょうか？一言でいうと、その可能性は無限大です。

「私たちが思い描くのは、AIエージェントにより、ゲーム開発者やクリエイターに想像もつかないようなインスピレーションとイノベーションがもたらされる未来です。（AIエージェントにより）ユーザーエンゲージメントがこれまでにないほど高まり、ゲーム体験がさらに豊かなものになり、そして新旧どちらのプレイヤーにもゲームを楽しんでいただくための新たな可能性を見いだせるかもしれません。」とフューチャーテクノロジーグループ、シニア・バイス・プレジデントのウーリー・ガリッツィは述べました。

「人工知能とインタラクティブエンタテインメントがつながる、このエキサイティングな世界で、GTソフィーが次の一歩を踏み出す先に何が待ち受けているのか非常に楽しみです。」

原文はこちら

グランツーリスモ・ソフィーサイト

Sony AI Blog