開発者と読み解くAIの世界

ChatGPTとは何が違う？ Googleが開発する「現実世界を理解するAI」の現在地

物の位置、作業の進み具合、次の行動まで考える「Gemini Robotics ER」とは

三上有祐

2026年10月15日 09:00

　本コーナー「開発者と読み解くAIの世界」では、AIアプリ開発に携わるエンジニアより寄稿いただき、開発者目線でみる生成AIの面白さや活用法、開発現場のリアルをお伝えします。

　ChatGPTに写真を送って「これは何？」と尋ねる、会議の録画を渡して要約してもらう。画像や動画を理解するAIは、この1～2年ですっかり身近になりました。

　ではその先の、「現実世界でタスクを実行すること」に関してはどうでしょうか。目の前の机を見て、マグカップをつかんで、シンクまで運ぶ。現実世界のものを動かそうとした途端、普通のVLMのように画像の内容を説明できるだけでは不十分です。物がどこにあるのか、次に何をすべきか、その作業は本当に成功したのか――そこまで判断できてはじめてAIは現実世界で「行動」できるようになります。

　Googleが開発を進める「Gemini Robotics ER」は、まさにこの「現実世界で行動するための推論」を担うAIです。2025年9月の初公開から1年足らずで3世代のアップデートを重ね、着実に進化を続けています。本稿では、ChatGPTのような一般的なチャットAIとの違いを起点に、Googleが目指す「現実世界を理解するAI」の現在地を紹介します。

ChatGPTとは何が違う？「答えるAI」から「行動するために考えるAI」へ

　ChatGPTをはじめとする一般的なチャットAIの主な仕事は、質問に答え、文章を作ることです。最近のモデルは画像や動画も入力でき、「この写真に写っているものを説明して」と頼めば、正確に答えてくれます。これらがいわゆる「マルチモーダルAI」と呼ばれるAIです。

　これならロボットの「目」としてもそのまま使えそうな気がしますが、一般的なVLMでは少し難しいのが現状です。対照的に、Gemini Robotics ERの特徴を一言でいえば、見た内容を「現実世界での行動」につなげるために作られているモデルです。両者の違いを表に整理したものが以下になります。

図1：一般的なチャットAIとGemini Robotics ERの違い

　たとえば、机の上のマグカップについて、チャットAIは「白いマグカップが置かれています」と説明して終わりです。一方のERは、マグカップの位置を画像上の座標として返し、「つかむ→運ぶ→置く」という手順に分解し、ロボットを動かすAPIを呼び出し、置き終わったあとの映像からそのタスクが成功したかどうかまで判定します。

Gemini Robotics ERとは何か

　ERは「Embodied Reasoning」の略で、直訳すると「身体化された推論」になります。少し硬い言葉なので、本稿では「現実世界を理解し行動するための推論」と捉えていただければよいかなと思います。これはロボットや機械が、カメラなどのセンサーから得た物理世界の情報を、自分が実行できる行動と結びつけて考える能力のことです。

　Googleの公式ドキュメント上では、 Gemini Robotics ERは、ロボットが現実世界を認識して操作できるようにするための視覚言語モデル（VLM） と位置づけられています。視覚データを解釈し、空間と時間について推論し、複数ステップのタスクを計画し、ロボットやツールを協調させる。処理の流れをざっくり書くと、次のようになります。

図2：ロボットに使用する場合の基本的なERモデルの処理

　これらの処理を支えるのが、ERモデルが扱う次のような能力群です。

空間理解：何が、どこにあるか
時間理解：動画の中で、何が起きたか
計画：目的を複数の作業へ分解する
成功判定：作業が本当に完了したか
ツール利用：ロボットAPIや別のAIモデルを呼び出す
進捗理解：作業がいまどこまで進んでいるか

　チャットAIが「言葉の世界」の中で完結するのに対し、ERはこれらを組み合わせて物理世界とやり取りします。同じ「マルチモーダルAI」でも、設計思想が大きく異なる部分です。

GoogleはGemini Robotics ERをどう進化させてきたのか

　Gemini Robotics ERは、2025年9月のER 1.5［1］、2026年4月のER 1.6［2］、そして2026年7月のER 2［3］と、およそ10カ月で3世代の進化を遂げています。開発の速度が速く、本稿を執筆している2026年9月現時点ではER 1.5と1.6がすでに使えなくなっており、ER 2のみが使用可能になっているほどです。

　これらのモデルの違いは、単に「新機能が増えた」「精度がよくなった」という話ではなく、「見るAI」から「現実世界で仕事を完了させるAI」へと役割が広がってきた、と捉えると流れがつかみやすいかもしれません。

ER 1.5：「どこにあるか」「何が起きたか」を理解する

　重要な機能の一つが「物体検出」です。画像内の物体を、名前だけでなく 画像上の2D座標（0～1000に正規化された座標）として出力します 。単なる物体検出と違うのは、意味を踏まえた指示に応えられること。「持ち上げられるものを指して」のような曖昧な指示でも、その状況において持ち上げるべき最適な物体を見つけて答えます。

　動画の理解ができることも特徴の一つです。ロボットアームが机を片づける映像を渡すと、「0:02～0:13で緑のマーカーをトレイへ」「0:15～0:22で青いペンをペン立てへ」のように、いつ何が起きたかをタイムスタンプ付きで説明できます。

　さらに、曖昧な指示をタスクへ分解し、ツールを呼び出す「エージェント」としての側面も持ちます。たとえば「ゴミを生ゴミ入れ・リサイクルのためのゴミ箱・燃えるゴミ箱に正しく分別して」という指示。ERは地域の分別ルールをGoogle検索で調べ、目の前の物体を認識し、どれをどこへ入れるかの計画を立てる、という一連の流れを一つのモデルで担うことが可能です。実際のロボット操作を担うAIモデルである後述のVLA（Vision-Language-Action）モデルや、ユーザーが定義した関数の呼び出しにも対応しています。

図3：Gemini Robotics ERを用いて物体検出をする様子

図4：Gemini Robotics ERを用いてロボットの軌道を生成する様子［1］

ER 1.6：エージェンティックビジョンの強化

　2026年4月に発表されたER 1.6［2］では、空間推論の精度向上に加えて、2つの点で進化がありました。

　一つ目は、複数カメラ（マルチビュー）の理解と成功判定です。ロボットの自律動作では「タスクをどう始めるか」と同じくらい「いつ終わったか」を知ることが重要です。終わったと判断できなければ次へ進めませんし、失敗に気づけなければやり直すこともできません。実際のロボットは俯瞰するカメラと手首周りに設置するカメラなど複数の視点を持つのが一般的で、ER 1.6は複数の映像を突き合わせて一つの状況として理解し、「青いペンはペン立てに入ったか」を、対象が一部隠れているような場面でも判定できるようになりました。

　二つ目は 「エージェンティックビジョン（Agentic Vision）」 と呼ばれる仕組みです。VLMを用いてすぐに答えを出すのではなく、画像の一部を拡大する、ポインティングした二つ以上の点の距離をコード実行して計算する、といった中間ステップを自分で踏みながら答えにたどり着きます。

図5：「エージェンティックビジョン」を用いた計器の読み取り［2］

　これを活用できるユースケースが「施設内の計器の読み取り」です。

　Boston Dynamicsの事例では、同社の四足歩行ロボット「Spot」が施設内の圧力計や液面計を巡回して撮影し、ER 1.6が針と目盛りの位置関係から数値を読み取るといったことをしています。Googleの評価では、この計器読み取りタスクの成功率はER 1.5の23％に対し、エージェンティックビジョンを使ったER 1.6では93％まで向上したとされています［2］。

図6：Spotを用いた計器の読み取り（［2］の動画の0:40）

ER 2：動画理解の強化と複数ロボットの協調動作

　2026年7月に公開されたER 2は、Gemini 3.5 Flashをベースにしたモデルで、テキスト・画像・動画に加えて音声の入力にも対応しました。Googleはこのモデルを「ロボットのための高レベルな頭脳」と位置付けています。進化のポイントは三つあります。

　一つ目は「動画の理解」の強化です。ER 1.6が「終わったかどうか」を判定できたのに対し、ER 2は映像から「いまどこまで進んでいるか」を追跡し、失敗すれば修正し、次の工程へ移るタイミングを判断します。「コーヒーを注ぐのをやめるべき瞬間」のような重要なイベントの発生フレームを特定する「モーメント検出」が可能になりました。成功判定も静止画ではなく映像を対象にし、こぼれや位置ずれといった実行途中の失敗を捉えられるようになりました。

　二つ目は「リアルタイム性」です。Gemini Live APIの双方向ストリーミングに対応し、「止まって考えて、また動く」という間を挟まずに、動作と並行して次の判断を進めながらVLAや各ロボットのAPIを呼び出せます。Googleは、Spotのナビゲーションやアーム操作のAPIをER 2が呼び分け、声で頼まれたスナックを取ってくるデモを公開しています。

図7：Spotが声で頼まれたスナックを取ってくるデモ（［4］のサイト内の動画）

　三つ目は「複数ロボットの協調」です。種類の異なるロボットが共通の状況理解をもとにタスクを渡し合い、1台では難しい作業を完遂できるようになりました。

図8：複数ロボットを協調して操作する様子（［6］のサイト内の動画）

　なお、ER 1.6は2026年8月末で提供が終了されています。これから触る方は最新のER 2から始めるのがよいかもしれません。

Gemini Robotics ERはロボットを直接動かすモデルではない

　ここまで読むと「ERがロボットを直接動かしている」ように見えるかもしれませんが、正確には少し違います。

　ERが出力するのは、 判断・計画・座標といった高レベルの情報であって、モーターへの制御信号ではありません 。アームの角度や速度、指先の力加減といった細かな制御は、専用のモデルや経路計画、ロボットのAPI、そしてVLA（Vision-Language-Action）モデルといった別のコンポーネントが担います。

　 VLAは、カメラ映像と言語の指示をロボットの動作へ直接変換するタイプのモデル で、GoogleがER 1.5と同時期に発表した「Gemini Robotics 1.5」がこれにあたります。ERとVLAは少し紛らわしいのですが、「ERが考え、VLAが動かす」というような役割分担になるとイメージしやすいかもしれません。

　つまりERは、ロボットそのものではなく、複数のAIモデルやロボット機能をまとめ上げる「頭脳」に近い存在なのです。

まとめ：AIはチャットの画面の外へ

　Gemini Robotics ERは、現実世界で行動するための推論を担うAIです。物体を認識するだけでなく、 位置、時間、タスクの進捗、成功・失敗まで扱えるモデル になっています。2025年9月に発表されたER 1.5というモデルから2026年7月のER 2まで、速い速度で進化を重ねています。一方で、ERはロボットを直接制御するモデルではなく、VLAやロボットのAPIといった「手足」へ仕事を振り分ける頭脳として捉えることが重要です。

　生成AIは、チャット画面の中で文章を作るだけの存在ではなくなりつつあります。画像や動画から現実世界を理解し、次に何をすべきかを考える。 Gemini Robotics ERは、AIがデジタル空間から現実世界へ踏み出すための技術の一つです 。ER 2はGoogle AI Studioから簡単に試せるので、手元にある画像を用いて物体検出などを体験してみると、本稿の内容が実感しやすくなるかもしれません。

図9：筆者のGoogle AI Studio上でER2.0を実際に試す様子

　Algomaticでも、こうしたマルチモーダルAIを実際の業務や現場へつなげるため、AIモデルの入出力やプロンプトの設計、評価方法、従来の機械学習モデルとの組み合わせ、システムの構成まで含めた社会実装に取り組んでいます。 AIがチャット画面の外、物理世界でより働き始めるこれからは 、エンジニアにとって面白い時代になるかもしれません。