ニュース

Operaがローカル生成AIのベンチマークツール「devicetest.ai」を無償公開

デバイスがローカルで生成AIを実行できるかを確認できる

「devicetest.ai」

 ノルウェーのOpera Softwareは6月7日(現地時間)、ローカル生成AIのベンチマークツール「devicetest.ai」を無償公開した。現在、アクセスするにはWebブラウザー「Opera」の開発版「Opera Developer」が必要。

 「devicetest.ai」は、デバイスがローカルで生成AIを実行する能力を備えているかをベンチマークテストできるツール。「Opera」が進めるローカルLLM(大規模言語モデル)の統合が、実際にデバイスで利用する準備ができているかをテストできる。

 以下に挙げる3種類のローカルLLMを使ったテストのプロファイルが用意されており、テストするデバイスの性能に応じて選択可能。

  • AI Ready:2B(2GB)
  • AI Standard: 7B (5GB)
  • AI Enthusiasts: 13B (7.5GB)
3種類のプロファイル
ベンチマーク中の画面

 テストは、AIが行う複数の作業を想定して行われ、複数回実行した平均値が評価となる。大まかなテスト結果は「READY FOR AI」(青)、「AI FUNCTIONAL」(黄)、「NOT AI READY」(赤)に分類される。もちろん以下のような細かなスコアも確認可能だ。

  • Tokens Per Second(TPS):1秒間に処理できるトークン(テキストを単語、または単語の一部に分解したもの)の数
  • First Token Latency(FTL):プロンプトを読み込んでからLLMが最初の単語を生成するまでの時間
  • Model Load Time(MLT):LLMをシステムのメモリに読み込む時間
テスト結果画面

 TPSとFTLは作業ごとに表示できるようになっており、デバイスがよりうまく行える作業を確認できる。テスト結果はWebページ上のほか、CSVファイルとしてダウンロードすることも可能だ。

TPSとFTLは作業ごとに表示可能