やじうまの杜
噂の「GPT-4o mini」は安い！ そして速い？ 応答速度をガチ測定してみた
2024年7月23日 12:36
“やじうまの杜”では、ニュース・レビューにこだわらない幅広い話題をお伝えします。
米OpenAIが7月18日（米国時間）に発表した最新ChatGPTモデルである「GPT-4o mini」は、従来のGPT-4oと同レベルの性能を持ちつつも、小型化により大幅な低コストを実現したとして話題を呼んでいます。現時点、入力対象はテキストと画像に限られていますが、早々に音声や動画も対象となるとアナウンスされています。
注目すべきはAPI利用料で、なんと従来のGPT-4oモデル比で、Inputが97％OFF、Outputは96％OFFという「爆安」価格です。性能は劣るが格安という位置づけだったGPT-3.5 Turboと比べても60～70％OFFという、かつてないコストパフォーマンス最強モデルとなっています。
| モデル名 | 入力 | 出力 |
| gpt-4o-mini-2024-07-18 | $0.15 | $0.60 |
| gpt-4o-2024-05-13 | $5.00 | $15.00 |
また、明確な性能差として、Outputの最大トークン数が引き上げられました。例えば、翻訳など大量のOutputが必要となるリクエストの際に、この性能向上が効いてくると思われます。
| モデル名 | 入力 | 出力 |
| gpt-4o-mini-2024-07-18 | 128K | 16K |
| gpt-4o-2024-05-13 | 128K | 4K |
実際の利用を想定してコストを計算してみた
実際に、ChatGPTのAPI利用が、どれくらいのコスト感になったか、実務でよくあるシーンで計算比較してみました。
① 通常の会話（入力、出力とも400文字程度）
② 文庫本要約（200ページ程度の文庫本を要約し2,000文字のレポートを出力）
| モデル名 | ①通常会話 | ②文庫本要約 |
| GPT-4o mini | 0.07 円 | 3.17 円 |
| GPT-4o | 1.92 円 | 103.20 円 |
今までは、1回会話する度に約2円かかっていたところが、10回以上会話しても1円に満たない、長文の要約は約100円かかっていたところが、約3円で文庫本1冊分の要約ができてしまいます。これはもう破格と言ってよいでしょう。
気になる応答速度を比較
さて、別角度からも検証してみましょう。気になる応答速度です。小型化されたことで、高速レスポンスで評価の高いGPT-4oに比べ、さらに速くなったのでしょうか？早速、GPT-4oの登場時と同様、応答速度をガチ計測してみました。今回の検証も前回同様、Excelマクロで簡単に連続処理ができるよう、以下の拙書で解説している「ChatGPT関数」を使用しています。
Excel VBAを使ってChatGPTのAPIを呼び出す関数を作成しよう！
検証は実務に合わせた次の4パターンで行ってみました。
| No | パターン | 検証内容 |
| ① | 単純な会話（15文字） | 「こんにちは、あなたは誰ですか？」と質問する |
| ② | 短文の要約（2,500文字） | 「次の文章を要約してください」として2,500文字の文章を要約させる |
| ③ | 長文の要約（10,000文字） | 「次の文章を要約してください」として10,000文字の文章を要約させる |
| ④ | 画像認識（解析） | カスタマイズしたOfficeのリボン画像を解説させる |
③の長文の要約は、上記書籍の「3章 VBAで会話する（ChatGPT）」の前半部分を丸々、②は、その一部を使っています。画像認識（解析）は、同じく書籍で作成しているアドインから、次の生成AIカスタムリボンのキャプチャを使用しました。
レスポンスの速度は、リクエストごとにバラツキがあるため、計測は1パターンにつき20回行って平均値を取りました。さあ、GPT-4o miniの、応答速度やいかに？
パターン① 単純な会話（15文字）GPT-4o miniの応答速度は微妙に低下
まず、パターン① 単純な会話（15文字）です。
少しだけGPT-4o miniの応答速度が遅いですが、誤差の範囲と言えそうです。
パターン② 短文の要約（2,500文字）
次に、パターン② 短文の要約（2,500文字）です。
こちらは、パターン①に比べ、若干GPT-4o miniの応答速度が速くなっています。しかしながら、個別に応答時間を見るとリクエスト単位に大きなバラツキがあり、たまたま20回の試行結果の平均がこうなっただけで、実際の差はない気もします。
パターン③ 長文の要約（10,000文字）
さらに、パターン③ 長文の要約（10,000文字）を見ていきましょう。
これも、ほぼ同速度とみてよいのではないでしょうか。個別の応答時間を見ても、似たような感じになっていました。
パターン④ 画像認識（解析）速度は、まったく同等
最後にパターン④ 画像認識（解析）です。
こちらは、まったくと言ってよいほど、同等でした。
GPT-4o miniの応答速度は、GPT-4oと同等？
今回、検証で取得したレスポンスデータは次の通りです。
上表は、厳密にはChatGPTの応答速度に加えてJSONのエスケープ処理などの時間も含んでいますが、それらを計測したところ、ミリ秒単位、長くても0.03秒程度だったので、リクエストの処理時間として、そのまま使用しています。
今回の計測で、GPT-4o miniのメリットは、応答速度ではなく、従来比約1/30という圧倒的に低くなったコストと改めてわかりました。さらに、出力の最大トークン数が4Kから16Kに引き上げられた点も見逃せないポイントです。
書籍版コードを「GPT-4o mini」に対応させる方法
なお、前述の書籍で紹介しているアドインで、最新モデルを使用する場合は、次のように「モデル設定」を行うSetGPTmodelプロシージャのモデル名を変更します。これだけで最新のGPT-4o miniモデルが使えるようになるのです。
書籍を読んでくださった読者の方は、ぜひ、コードを修正して最新の「GPT-4o mini」をOfficeアプリから使用することをお勧めします！
