ニュース

Operaがローカル生成AIのベンチマークツール「devicetest.ai」を無償公開

デバイスがローカルで生成AIを実行できるかを確認できる

  • 長谷川 正太郎

2024年6月11日 12:07

「devicetest.ai」

　ノルウェーのOpera Softwareは6月7日（現地時間）、ローカル生成AIのベンチマークツール「devicetest.ai」を無償公開した。現在、アクセスするにはWebブラウザー「Opera」の開発版「Opera Developer」が必要。

　「devicetest.ai」は、デバイスがローカルで生成AIを実行する能力を備えているかをベンチマークテストできるツール。「Opera」が進めるローカルLLM（大規模言語モデル）の統合が、実際にデバイスで利用する準備ができているかをテストできる。

　以下に挙げる3種類のローカルLLMを使ったテストのプロファイルが用意されており、テストするデバイスの性能に応じて選択可能。

  • AI Ready:2B(2GB)
  • AI Standard: 7B (5GB)
  • AI Enthusiasts: 13B (7.5GB)
3種類のプロファイル
ベンチマーク中の画面

　テストは、AIが行う複数の作業を想定して行われ、複数回実行した平均値が評価となる。大まかなテスト結果は「READY FOR AI」（青）、「AI FUNCTIONAL」（黄）、「NOT AI READY」（赤）に分類される。もちろん以下のような細かなスコアも確認可能だ。

  • Tokens Per Second（TPS）：1秒間に処理できるトークン（テキストを単語、または単語の一部に分解したもの）の数
  • First Token Latency（FTL）：プロンプトを読み込んでからLLMが最初の単語を生成するまでの時間
  • Model Load Time(MLT）：LLMをシステムのメモリに読み込む時間
テスト結果画面

　TPSとFTLは作業ごとに表示できるようになっており、デバイスがよりうまく行える作業を確認できる。テスト結果はWebページ上のほか、CSVファイルとしてダウンロードすることも可能だ。

TPSとFTLは作業ごとに表示可能
Amazonで購入