レビュー
噂の「GPT-4o」の応答速度をガチ測定してみた、どこが特に速くなったのか？
2024年5月17日 10:20
米OpenAIが5月13日（米国時間）に発表した最新ChatGPTモデルである「GPT-4o」はマルチモーダルで、音声、画像、テキストを入力できるようになり、「人間のようにリアルタイムの会話ができるようになった！」と話題となっています。たしかに、すごい進化ですよね。
しかし、評判になっている人間的な応答は、インターフェイスであるアプリケーションがそうなるよう作っているのであって、今回のアップデートの本質は、GPT-4oのレスポンス速度の向上にあるのでは？ つまり単純に反応速度が早いから今までできなかったことが可能となったのでは？ との見方もできます。
そこで、GPT-4oと、その登場以前まで最強だった「GPT-4 Turbo」を、純粋な応答速度で比較してみることにしました。OpenAIが提供するAPIをコールし、そのレスポンスが返ってくるまでの速度をミリ秒単位で計測してみました。
今回の検証はExcelマクロで簡単に連続処理ができるよう、以下の拙書で解説している「ChatGPT関数」を使用しています。
検証は実務に合わせた次の4パターンで行ってみました。
| No | パターン | 検証内容 |
|---|---|---|
| ① | 単純な会話（15文字） | 「こんにちは、あなたは誰ですか？」と質問する |
| ② | 短文の要約（2,500文字） | 「次の文章を要約してください」として2,500文字の文章を要約させる |
| ③ | 長文の要約（10,000文字） | 「次の文章を要約してください」として10,000文字の文章を要約させる |
| ④ | 画像認識（解析） | カスタマイズしたOfficeのリボン画像を解説させる |
③の長文の要約は、上記書籍の「3章 VBAで会話する（ChatGPT）」の前半部分を丸々、②は、その一部を使っています。画像認識（解析）は、同じく書籍で作成しているアドインから、次の生成AIカスタムリボンのキャプチャを使用しました。
レスポンスの速度は、リクエストごとにバラツキがあるため、計測は1パターンにつき20回行って平均値を取りました。さあ、GPT-4oの、実力やいかに？
パターン① 単純な会話（15文字）GPT-4oの応答速度はおよそ4倍、「GPT-3.5 Turbo」も上回る
まず、パターン① 単純な会話（15文字）です。
GPT-4oの応答速度が劇的に向上していることがわかります。およそ4倍程度に高速化、一世代前の「GPT-3.5 Turbo」も上回っています。さすがはGPT-4oといったところでしょうか。
パターン② 短文の要約（2,500文字）GPT-4 Turboの2倍程度に高速化
次に、パターン② 短文の要約（2,500文字）です。
こちらは、パターン① 単純な会話ほど応答速度に顕著な差が見られませんでしたが、GPT-4oはGPT-4 Turboの2倍程度の速度となっています。GPT-3.5 Turboの健闘ぶりも素晴らしく、精度を求めない要約であれば3.5で十分かもしれません。
パターン③ 長文の要約（10,000文字）
さらに、パターン③ 長文の要約（10,000文字）を見ていきましょう。
短文の要約（2,500文字）と比べて、明らかに速度向上が鈍化しています。GPT-4oといえど、難解な質問や長文の処理に関しては、劇的な速度向上は見込めない、と言えそうです。
パターン④ 画像認識（解析）速度は3倍、認識精度も大きく向上
最後にパターン④ 画像認識（解析）です。
GPT-3.5 Turboには画像認識の機能はないため、GPT-4同士の比較となりますが、こちらは、なんと3倍程度の速度向上となっており、画像解析の使い勝手が大幅に向上しそうです。
さらには、解析結果に関しても次のような違いがあり、認識精度も向上しているように感じます。
表示されているのは、Microsoft Excelの画面の一部です。これはリボンインターフェースの「OpenAI」タブを示しており、Excel内でOpenAIの機能を使うことを想定したカスタムタブのように見えます。このタブには、「ChatGPT」「DALL-E」「GPT-4V」というボタンがあります。これらは、OpenAIの人工知能製品を指し、Excel内でこれらのAIモデルを利用する機能が提供されていることを示唆しています。ただし、これらの機能が実際に利用可能であるか、またはデモンストレーションやモックアップであるかは、この画像だけからは判断できません。
これは、Microsoft Excelの拡張機能タブに表示されている「OpenAI」の統合機能のスクリーンショットです。このタブには以下のOpenAI機能が含まれています：
- **会話する（ChatGPT）** - ChatGPTと会話するための機能。
- **数式解説** - 数式の説明機能。
- **モデル設定** - モデルの設定機能。
- **画像生成（DALL-E）** - DALL-Eにより画像を生成する機能。
- **画像解析（GPT-4V）** - GPT-4Vにより画像を解析する機能。
これらの機能は、OpenAIの各種モデルを利用してExcel内で高度な自然言語処理や画像生成・解析などを行うためのツールです。
GPT-4oは、短い会話なら「公式発表」よりも高速？
今回、検証で取得したレスポンスデータは次の通りです。
上表は、厳密にはChatGPTの応答速度に加えてJsonのエスケープ処理などの時間も含んでいますが、それらを計測したところ、ミリ秒単位、長くても0.03秒程度だったので、リクエストの処理時間として、そのまま使用しています。
OpenAIのアナウンスでは、GPT-4oはGPT-4 Turboの2倍速い（2x faster latency. GPT-4o is 2x faster than GPT-4 Turbo.）とのことでしたが、短い会話においてはそれ以上の速度向上がありました。公式動画の自然な会話応答も、このレスポンス速度があって実現したのでしょう。
今回の検証で2倍程度の速度向上にとどまった短文要約も、そこそこ長い2,500文字をプロンプトに投入していますので、通常の質問や会話においては、公式アナウンス以上に軽快なレスポンスとなると考えてよいかもしれません。
