Googlebot(グーグルボット)というウェブクローラーについて

Simon / Pixabay

Googlebotとはなんでしょうか?

初めてSEOに触れる方にとっては、Googlebotというのはとてつもなく難しいものに聞こえがちです。ただ実際はウェブサイト運営者を守ってくれるとても優しい存在です。今日は、Googlebotについてまとめていきます。

Googlebotは簡単にいうと、

  • Googleが使用しているウェブクローラー
  • ウェブクローラーはウェブページを探しだすために使用されます。
  • Googlebotが集めた情報は、Googleのインデックスを更新するために利用されます。

全然簡単に言えていませんが、もっとざっくりお伝えするとあなたが作ったサイトを何もしなくても自動で見つけてGoogleの検索結果に出してくれるすごいやつなのです。Googlebotは10億のウェブページを訪問し、常にウェブ上のあらゆるデータを管理しています。

先ほどの説明でできた「ウェブクローラー」というのは、サイトにあるリンクを辿って情報を収集し、その情報を親元に送信するように設計されたソフトです。巷では、ボットと言ったりロボットとかスパイダーとか呼ばれている場合もあります。

 

Googlebotは何をしてくれるのか?

Googlebotは、以下の3つの流れを瞬時に行いながら億を超えたサイトを常に回遊しています。クローラーが回ってきたがどうかはサーチコンソール(ウェブマスターツール)でも参照できます。

  1. サイトのコンテンツデータを取得。
  2. Googleに情報を共有。
  3. リンクを辿って他のページに移動。(1に戻る。)

簡単な作業をひたすら行っているのです。この流れでもわかる通り、サイト内のたくさんのページを評価してもらうためにはサイト内に内部リンクを適量追加していくことが大切になってきます。

最近ではあまり見ませんが、Googlebotがアクセスできない仕様になっているサイトがあるのですがそのようなサイトは一生検索結果に出てくることはありません。もし検索結果に全く出てこなかった時は少し疑ってみてください。

 

GooglebotとGoogleのインデックスの役割

Googlebotとインデックスにはそれぞれ役割があると言われています。まず、Googlebotがコンテンツを取得し、Googleのインデッックスがコンテンツを受け取り評価をこないます。この評価が検索結果のランキングシグナルとして使われます。

先ほど、Googlebotがアクセスできないサイトは検索結果に出てこないと書きましたが、もしかすると検索結果にはいるものの上位化していない可能性もあります。Googleの検索結果に反映されているかどうかは以下の検索方法で知ることができます。例としてyurilog.ccが検索結果に出るか調べてみましょう。やり方はとても簡単で、ドメインの前に「site:」をつけるだけです。

site:yurilog.cc

これだけで検索結果に表示されている記事の一覧がチェックできます。もし記事が全然検索結果に出ていない場合は内部リンクの設計がしっかりとしていない可能性やCSSとJavaScriptファイルがrobots.txtファイルによってブロックされている可能性がありますので今一度チェックしましょう。

 

Googlebotはどこまでコンテンツを理解できるのか

Googlebotは文字を文字として読んではいません。サイト内のhtmlなどを読み取り、Googleに教えています。

Googleはコンテンツの正しさを判断していないという回答をオフィスアワーで話していましたので、実際は文字の羅列を取得するだけのシステムです。

 

Googleの検索結果に出さないようにするには

今まではどうやって検索結果に出すのかということについて説明しましたが、逆にクローラーに「立ち入り禁止」を突きつけることができます。

方法はrobots.txtをサイト内に埋め込むことです。robots.txtファイルが、それはあなたがGooglebotがアクセスしたくないファイルやフォルダをリストすることによって、あなたのページを訪れたときに何をすべきかにGooglebotに指示できるため、今回の場合は「このURLだけにはこないでね!」と提示できるというわけです。

robots.txtファイルは、Googlebotのような検索エンジンのスパイダーを参照し、あなたのウェブページと対話しながらGooglebotにルールを守らせています。

 

 


 

GoogleはGooglebotについて、公式ドキュメントでも様々発表しておりますので色々調べてみて下さい。