やじうまの杜

噂の「GPT-4o mini」は安い! そして速い? 応答速度をガチ測定してみた

 “やじうまの杜”では、ニュース・レビューにこだわらない幅広い話題をお伝えします。

「GPT-4o mini」

 米OpenAIが7月18日(米国時間)に発表した最新ChatGPTモデルである「GPT-4o mini」は、従来のGPT-4oと同レベルの性能を持ちつつも、小型化により大幅な低コストを実現したとして話題を呼んでいます。現時点、入力対象はテキストと画像に限られていますが、早々に音声や動画も対象となるとアナウンスされています。

 注目すべきはAPI利用料で、なんと従来のGPT-4oモデル比で、Inputが97%OFF、Outputは96%OFFという「爆安」価格です。性能は劣るが格安という位置づけだったGPT-3.5 Turboと比べても60~70%OFFという、かつてないコストパフォーマンス最強モデルとなっています。

100万トークンあたりのコスト
モデル名入力出力
gpt-4o-mini-2024-07-18$0.15$0.60
gpt-4o-2024-05-13$5.00$15.00

 また、明確な性能差として、Outputの最大トークン数が引き上げられました。例えば、翻訳など大量のOutputが必要となるリクエストの際に、この性能向上が効いてくると思われます。

最大トークン
モデル名入力出力
gpt-4o-mini-2024-07-18128K16K
gpt-4o-2024-05-13128K4K

実際の利用を想定してコストを計算してみた

 実際に、ChatGPTのAPI利用が、どれくらいのコスト感になったか、実務でよくあるシーンで計算比較してみました。

① 通常の会話(入力、出力とも400文字程度)
② 文庫本要約(200ページ程度の文庫本を要約し2,000文字のレポートを出力)

モデル名①通常会話②文庫本要約
GPT-4o mini0.07 円3.17 円
GPT-4o1.92 円103.20 円

 今までは、1回会話する度に約2円かかっていたところが、10回以上会話しても1円に満たない、長文の要約は約100円かかっていたところが、約3円で文庫本1冊分の要約ができてしまいます。これはもう破格と言ってよいでしょう。

気になる応答速度を比較

 さて、別角度からも検証してみましょう。気になる応答速度です。小型化されたことで、高速レスポンスで評価の高いGPT-4oに比べ、さらに速くなったのでしょうか?早速、GPT-4oの登場時と同様、応答速度をガチ計測してみました。今回の検証も前回同様、Excelマクロで簡単に連続処理ができるよう、以下の拙書で解説している「ChatGPT関数」を使用しています。

Excel VBAを使ってChatGPTのAPIを呼び出す関数を作成しよう!

 検証は実務に合わせた次の4パターンで行ってみました。

Noパターン検証内容
単純な会話(15文字)「こんにちは、あなたは誰ですか?」と質問する
短文の要約(2,500文字)「次の文章を要約してください」として2,500文字の文章を要約させる
長文の要約(10,000文字)「次の文章を要約してください」として10,000文字の文章を要約させる
画像認識(解析)カスタマイズしたOfficeのリボン画像を解説させる

 ③の長文の要約は、上記書籍の「3章 VBAで会話する(ChatGPT)」の前半部分を丸々、②は、その一部を使っています。画像認識(解析)は、同じく書籍で作成しているアドインから、次の生成AIカスタムリボンのキャプチャを使用しました。

画像解析で使った画像

 レスポンスの速度は、リクエストごとにバラツキがあるため、計測は1パターンにつき20回行って平均値を取りました。さあ、GPT-4o miniの、応答速度やいかに?

パターン① 単純な会話(15文字)GPT-4o miniの応答速度は微妙に低下

 まず、パターン① 単純な会話(15文字)です。

「こんにちは、あなたは誰ですか?」という単純な会話への応答速度比較

 少しだけGPT-4o miniの応答速度が遅いですが、誤差の範囲と言えそうです。

パターン② 短文の要約(2,500文字)

 次に、パターン② 短文の要約(2,500文字)です。

2,500文字程度の要約をしたときの応答速度比較

 こちらは、パターン①に比べ、若干GPT-4o miniの応答速度が速くなっています。しかしながら、個別に応答時間を見るとリクエスト単位に大きなバラツキがあり、たまたま20回の試行結果の平均がこうなっただけで、実際の差はない気もします。

パターン③ 長文の要約(10,000文字)

 さらに、パターン③ 長文の要約(10,000文字)を見ていきましょう。

10,000文字程度の要約をしたときの応答速度比較

 これも、ほぼ同速度とみてよいのではないでしょうか。個別の応答時間を見ても、似たような感じになっていました。

パターン④ 画像認識(解析)速度は、まったく同等

 最後にパターン④ 画像認識(解析)です。

画像解析の応答速度比較

 こちらは、まったくと言ってよいほど、同等でした。

GPT-4o miniの応答速度は、GPT-4oと同等?

 今回、検証で取得したレスポンスデータは次の通りです。

各パターンの検証を表にまとめた。20回の検証から平均を割り出している

 上表は、厳密にはChatGPTの応答速度に加えてJSONのエスケープ処理などの時間も含んでいますが、それらを計測したところ、ミリ秒単位、長くても0.03秒程度だったので、リクエストの処理時間として、そのまま使用しています。

 今回の計測で、GPT-4o miniのメリットは、応答速度ではなく、従来比約1/30という圧倒的に低くなったコストと改めてわかりました。さらに、出力の最大トークン数が4Kから16Kに引き上げられた点も見逃せないポイントです。

書籍版コードを「GPT-4o mini」に対応させる方法

 なお、前述の書籍で紹介しているアドインで、最新モデルを使用する場合は、次のように「モデル設定」を行うSetGPTmodelプロシージャのモデル名を変更します。これだけで最新のGPT-4o miniモデルが使えるようになるのです。

赤で囲んだ部分にGPT-4o miniのモデル名を追記している
書籍ではダイアログボックスを表示してGPTのモデルを選択できるようになっている

 書籍を読んでくださった読者の方は、ぜひ、コードを修正して最新の「GPT-4o mini」をOfficeアプリから使用することをお勧めします!