GoogleBOTのクロール速度調整について

投稿日: 2011/12/2 1:29

Googleは定期的にGoogleBOTという自動ソフトでWebを巡回して
Webページを収集しているというのは皆様ご存じの事ですが、
実際にどの程度の頻度で収集しているのかというとあまり検証したページがありません。

実際に当Webページで変更した内容がGoogleに反映されるまでどの程度かかるか
推移を追っていたのですが、数日と早いときもあれば1ヵ月近くも遅いときもあったりと
ばらつきが大きく推測できないというのが感想です。
(大体1ヵ月くらい放置したら遅くてもほぼ反映されるみたいです)

ちょこちょこ修正を加えてGoogleにどのようにインデックスされるか確認したい私のような人には
1ヵ月というのはあまりに長いため早めに反映してもらう手はないか探したのですが、
Google Webmaster Toolでクロール速度を変更する事で当ページの場合は早くなりました。

Google Webmaster Toolのメニューで「サイト設定」→「設定」の順に画面を呼び出し、
「クロール速度」の項目を修正します。

上の画像はすでに変更した後で、デフォルトでは300秒に1回程度の設定になっていました。
(Googleが自動的にデフォルト値を決めるみたいなので他では違う値かもしれません)

サーバに負荷にならない程度のスピードに上げておくと良いかと思います。
私の場合は2秒に1回程度にしていますが今の所問題はありません。

この設定を変更した翌日になかなかGoogle反映されなかった修正がすぐに反映されたため
おそらく当Webページではこの設定がボトルネックになって反映が遅れていたと思われます。
他Webサイトで同様の効果があるかは分かりませんが、一度試してみる価値はあると思います。

Google Webmaster Toolは次のページから登録できます。

https://www.google.com/webmasters/

使い方は多くのWebサイトで紹介されていますので検索してみてください。