Google検索のクローラー「Googlebot」のUA文字列が変更へ

“Google ウェブマスター向け公式ブログ”でのアナウンス

　米Googleは11月22日（現地時間）、「Googlebot」のユーザーエージェント文字列を変更すると発表した。12月以降は「Google Chrome」の更新に合わせ、バージョン番号を定期的に更新していくという。

　「Googlebot」は、Google検索の検索結果に掲載するWebページを収集（クロール）するプログラム。デスクトップ向けのWebページを集めるデスクトップクローラーとモバイルデバイスで閲覧した状態をシミュレートして収集するモバイルクローラーの2種類が存在するが、そのレンダリングには「Google Chrome」ベースのWebブラウザーが利用されている。つまり、Googleの検索結果に掲載されるようにするには、「Google Chrome」で意図した通り、高速に表示され、キーワードが収集されていることが重要となる。

　ユーザーエージェント文字列は、アクセス先のWebサーバーにデバイスとWebブラウザーの情報を伝えるために利用されており、「Googlebot」の場合は以下のような形式だった。

• モバイル：Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• PC：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)　または Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

　12月以降、これらのユーザーエージェント文字列は以下のように変更される。

• モバイル：Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• PC：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)　または Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

　“ W.X.Y.Z ”の部分は「Googlebot」で利用されている「Google Chrome」のバージョンに合わせ、定期的にアップデートされる。同社によると、この変更により影響の出るWebサイトはほとんどないとのことだが、従来のユーザーエージェント文字列を前提としてWebブラウザーの種類・バージョン判別を行っているWebサイトには影響が及ぶ可能性もある。

　同社はユーザーエージェント文字列でWebブラウザーの種類やバージョンを判別するのではなく、Webサイトで利用したい機能をWebブラウザーが持っているかどうかを逐次調べる方法を推奨している。もしこの方法がとれないのであれば、ユーザーエージェント文字列で“Googlebot”を検索するとよいようだ。