ChatGPTの画期的な点とは ～並列処理ができるのが大きな強み【これからはじめるChatGPTの基礎知識】

　話題の対話型AI「ChatGPT」の仕組みや基本操作をおさらいしてみましょう。このコーナーでは、人気AIの使い方がまるごとわかる新入門書『できるChatGPT』から抜粋してお届けします。

ChatGPTの画期的な点とは（以下、画像は『できるChatGPT』より）

機械翻訳の飛躍的な発展

　ChatGPTのような自然言語処理分野のAIは、ここ数年で飛躍的に進化しました。その背景には、機械翻訳分野での革新があります。機械翻訳の分野で使われていた従来の方法では、単語を逐次、再帰的に処理するため、文章が長くなると遠い単語の成分が薄れて、翻訳時に考慮されにくくなるという欠点がありました。そこで登場したのが「アテンション（注意機構）」という考え方です。アテンションは、あらかじめ文章内の単語の相互関係を学習することで、文章の中のどの単語に注意すればいいかを判断します。これにより、遠い単語も考慮されるようになり、翻訳の精度が飛躍的に向上しました。

従来の処理方法（再帰的な逐次処理）

アテンションによる処理方法

トランスフォーマーの登場

　アテンションは、その後、研究が進み、あらゆる分野で重要な役割を果たせることがわかってきました。中でもChatGPTなどの自然言語処理の分野に革命をもたらしたのが、アテンションを活用した「トランスフォーマー」というモデルです。トランスフォーマーの登場によって、AIと人が会話をするような自然言語処理で、仮に文章や会話が長くなったとしても、その文脈を考慮した正確な応答ができるようになりました。また、トランスフォーマーは並列処理が可能なため、大量のデータを学習し、より正確な回答をすることも可能になりました。

トランスフォーマーによる処理の進化

【使いこなしのヒント】「Attention Is All You Need」とは

自然言語処理の革新となったトランスフォーマーは、「Attention Is All You Need」という非常に有名な論文で発表されました。タイトル通り、アテンションの重要性を説明したもので、実際、この考え方が、現在の高度な対話型AIと、今後のAIの発展の礎になっています。

【使いこなしのヒント】次の単語を予測しているだけ

ChatGPTのような対話型AIは、あたかも文章の内容を理解して回答しているかのように見えますが、しくみとしては「次の単語」を予測しているだけに過ぎません。例えば、ここで例として取り上げた「日本一高い山は」という問いに対して、アテンションによって「日本一」「高い」などの単語を考慮していますが、単純化すると「山は」に続く単語として「富士山」を予測しているだけになります。

まとめ：並列処理ができるのが大きな強み

　トランスフォーマーの画期的な点は、レッスンでも触れたように文章の文脈を考慮できることに加え、「並列処理」が可能な点があります。これにより、インターネット上のWebなど、大量のデータを高速に学習することが可能になりました。ChatGPTなどのベースとなるGPT-3などのモデルは、「大規模言語モデル」と呼ばれますが、その規模の大きさを支えているのがトランスフォーマーによる並列処理となります。つまり、トランスフォーマーによって自然言語処理に「理解度」と「知識量」の飛躍的な向上がもたらされたことになります。