Googleクローラー(Googlebot)の仕組みと、Search ConsoleのURL検査・サイトマップを使ったクロール申請の手順を解説します。反映までの目安(数日から数週間)、クロール頻度の考え方、クロールさせないページの設定、本物のGooglebotかどうかの確認方法まで、Google公式ドキュメントで確認できた内容(2026年10月時点)に沿ってまとめました。
管理人本記事の読者層は以下の方を想定しています。
- Web初心者、SEO担当者、ブログ運営者
- SEOを本格的に学びたい方、企業マーケティング担当者、サイト設計に取り組む開発者
- 新規サイトを立ち上げた方、検索結果の露出を増やしたい方、ページ改善に興味がある方
- サーバーのログに出てくるGooglebotが本物かどうかを確認したい方
Googleのクローラーとは?仕組みとSEOとの関係
Googleのクローラー(Googlebotなど)は、ウェブ上のページを自動的に巡回して取得するプログラムです。取得した内容はGoogleが評価し、検索結果に表示できる状態で保存(インデックス登録)されます。ただし、Googleの公式ドキュメントによると、クロールされたページがすべてインデックスに登録されるわけではありません。
検索エンジンが巡回しやすいよう、ページ構造や内部リンクを最適化し、クローラーがアクセスしやすい環境を整えることが、インデックス登録の前提になります。
Googleクローラーの種類と、本物のGooglebotかを確認する方法
Googleのクローラーは、公式ドキュメントで次の3種類に分けられています。
- 一般的なクローラー:Googlebotなど。自動クロールでは常にrobots.txtのルールに従います。
- 特殊なケース用のクローラー:AdsBotなど。サイトとGoogleのプロダクトの間に合意がある場合に使われ、robots.txtに従う場合と従わない場合があります。たとえばAdsBotは、広告パブリッシャーの許可に基づき、全体指定(
User-agent: *)を無視します。詳しくはGoogleの特殊なケース用のクローラーの一覧を参照してください。 - ユーザートリガーフェッチャー:Search Consoleのサイト確認など、利用者の操作で動くものです。利用者がリクエストした取得のため、robots.txtは無視されます。
サーバーのログにGooglebotと名乗るアクセスがあっても、ユーザーエージェント(UA)の文字列は偽装できます。公式ドキュメントでは、UA、送信元のIPアドレス、送信元IPの逆引きDNSホスト名の3つで確認する方法が案内されています。
- 一般的なクローラーの逆引きDNSホスト名は、
crawl----.googlebot.comまたはgeo-crawl----.geo.googlebot.comの形になります。 - 特殊なケース用のクローラーの逆引きDNSホスト名は、
rate-limited-proxy----.google.comの形になります。 - IPアドレスの範囲は、Googleがクローラーの種類ごとにJSON形式で公開しています。範囲は変わるため、この記事には一覧を載せません。最新の範囲はGoogleクローラーとフェッチャーからのリクエストを確認するで確認してください。
なお、スマートフォン用Googlebotのユーザーエージェントには「Googlebot/2.1」と「+http://www.google.com/bot.html」が含まれます。robots.txtでGooglebotを指定するときのトークンは「Googlebot」です。一覧はGoogleの一般的なクローラーの一覧にあります。
Google-Extendedとは
Google-Extendedは、robots.txtで指定する製品トークンです。独立したユーザーエージェントはなく、取得は既存のGoogleのユーザーエージェントで行われます。Geminiの今後のモデルの学習などに、自分のサイトの内容を使わせるかどうかを管理するためのものです。公式ドキュメントでは、Google検索への掲載やランキングには影響しないと説明されています。
Googleにクローラー申請が必要な理由とタイミング
Googleのクローラーは、リンクをたどって新しいページや更新を自分で見つけます。そのため、クロールの申請(リクエスト)は必須ではありません。公式ドキュメントでは、BloggerやWordPressなどのCMSを使っている場合、コンテンツの追加や変更はほぼ自動的に検索エンジンへ送信されると案内されています。
申請は、早めに見てほしいときに使う補助的な手段です。主なタイミングは2つあります。
新しいページを追加した場合
新しく公開したページを早めに検出してほしいときに申請します。ただし、リクエストしても、検索結果にすぐ表示されるとは限らず、まったく表示されないこともあります(公式ドキュメントより)。
既存ページを更新した場合
ページを大きくリライトしたあとも、同じ方法でリクエストできます。個々のURLの送信には上限があり、同じURLに何度リクエストしても早くクロールされるわけではありません。重要なページのリライト後に絞って使いましょう。詳しくはURLの再クロールをGoogleにリクエストするを参照してください。
Google Search Consoleからクローリングの申請
Google Search Consoleは、サイトの所有者がGoogle検索での表示状況を確認したり、クロールやインデックス登録をリクエストしたりできるツールです。以下、クローラー申請の手順を紹介します。
Google Search Consoleにアクセス
初めにGoogle Search Consoleにアクセスし、サイトを登録します。登録には、サイトの所有権の確認が必要です。
Google Search Console へようこそからwebへアクセスすると、プロパティの種類を選ぶ画面が表示されます。下の画像は2022年に撮影したもので、現在の画面とは表示が異なる場合があります。


「ドメイン」または「URLプレフィックス」を選択
登録するプロパティの種類を、サイトの構造に応じて選びます。Search Consoleヘルプ(プロパティの追加)では、次のように説明されています。
- 「ドメイン」(左側):example.comのようにドメインを入力し、すべてのサブドメイン(wwwやmなど)と、httpやhttpsをまとめて対象にします。所有権の確認は、DNSレコードによる確認のみです。
- 「URLプレフィックス」(右側):指定したプロトコルとサブドメインで始まるURLだけを対象にします(例:https://example.com/blog/ 以下のみ)。所有権の確認は、HTMLファイルのアップロードなど、複数の方法から選べます。
サイト全体をまとめて見たい場合や、サブドメインが複数ある場合は「ドメイン」が向いています。DNSを操作できない場合や、サブディレクトリ単位で見たい場合は「URLプレフィックス」が向いています。
一般的な.comをもつURLアドレスを例にすると構造上、下記のように区別できます。
①ドメインを選択する場合
サイト全体(サブドメインやhttp・httpsを含む)をまとめて管理したい場合は、①を選びます。
上図左側の「ドメイン」部分に、あなたのドメインを入力します。http:// やhttps://、wwwの入力は不要です。wwwの有無は、自動的にまとめて対象になります。
続行を押すと、DNSレコードによる所有権の確認に進みます。画面の案内に従い、ドメインの管理画面(レジストラなどのDNS設定画面)で、Googleが指定する確認用のDNSレコードを追加します。
②サブディレクトリ構成を選択する場合
一方で、サーバーのルートディレクトリより下の/blogなどのディレクトリにWordPressをインストールしている場合、URLの構造はサブディレクトリ構造となっています。ドメインプロパティにはパス(/blog/など)を含められないため、この場合は①の「ドメイン」(左側)では登録できません。右側の「URLプレフィックス」を選びましょう。
右側の「URLプレフィックス」部分に、サブディレクトリまで含めたURL全体を入力します。
例えば、
https://〇〇〇〇.xxxxx.com/blog/
を登録します。ここでは最後の「/」を入れましょう。
所有権の確認
URLを入力したら、所有権の確認が求められます。「ドメイン」はDNSレコードによる確認のみですが、「URLプレフィックス」では複数の確認方法から選べます。以下はHTMLファイルによる確認の例です。


画面の指示に従い「1.ファイルをダウンロード」から「googleXXXXXX.html」ファイルをダウンロードしてサーバーにアップロードして確認を行います。
上記の画面上の下の「確認」ボタンをクリックして、下記の証明画面がでれば所有権が証明されたことになります。


URL検査ツールでクローラー申請
URL検査ツールを使用し、クローリング(インデックス登録)をリクエストします。Google Search Consoleの上部にある入力フィールドに対象のページURLを入力し、検査結果の画面で「インデックス登録をリクエスト」をクリックします。リクエストできるのは、プロパティの所有者またはフルユーザーです。
ただし、リクエストを送ることと、インデックスに登録されることは別です。公式ドキュメントでは、次の点が案内されています。
- クロールには、数日から数週間かかることがあります。
- 個々のURLの送信には上限があります。同じURLに何度リクエストしても、早くクロールされるわけではありません。
- リクエストしても、検索結果にすぐ表示されるとは限らず、まったく表示されないこともあります。
Googleクローラーの反映時期は?
公式ドキュメントでは、クロールには数日から数週間かかることがあるとされています(2026年10月時点)。しばらく待ってから、インデックス ステータス レポートやURL検査ツールで進み具合を確認しましょう。
Googleクローラーの巡回頻度は?
ボット (google bot) がクローリングする間隔はサイトによってまちまちです。
自身のサイトがどれだけクロールされているかの確認は、Google Search Console (GSC) から知ることができます。(GSCはSiteKitをWordPressにインストールすることでも確認できます。)
下記はGSCの設定画面です。


画面のクロールの統計情報「レポートを開く」からクロール回数を確認できます。
このブログは2022年9月時点で、開設してはや3ヶ月ほど経ちました。常に何かしらクローリングしていますが、大々的なページインデックス化は週に二回ほどあります。3~4日に一回ほどです。
クロールが来てもGSCのインデックスを確認するかぎりでは、サイト内のすべてのページを掲載してくれるわけではないようです。サイト全体のクローラー巡回の後、1日ほど遅れてページのインデックス登録が発生するようです。
Search Consoleのインデックス登録のレポートには、次のようなステータスが表示されることがあります。
①「クロール済み – インデックス未登録」:Googleがページを取得したものの、インデックスには登録しなかった状態です。今後登録される場合もあれば、登録されない場合もあるとされています。
②「検出 – インデックス未登録」:GoogleがURLを見つけたものの、まだクロールしていない状態です。
どちらも、理由を1つに特定することはできません。ページの内容や内部リンク、サイト全体の状態をあわせて見直し、必要に応じて記事を修正します。
Googleクロール頻度を短くする方法はあるのでしょうか。
Googleは世界中のウェブサイトを巡回しており、クロール間隔を短くしたり、クロールサイト数を増やしたりする要因として以下の点があると考えられています。
- クロール対象となるURLがユーザーに取って価値があるか?
- インターネット上で人気があるか?
- 更新が頻繁にされているか?
- 最後の更新から時間がたっていないか?
なお、クロール頻度の増加をGoogleにリクエストする仕組みはありません。公式ドキュメントで案内されているのは、頻度を下げるリクエストです(Googleのクロール頻度を下げる)。クロール頻度は、サーバーの応答状況(クロール容量)と、クロールの需要(サイトの規模、更新頻度、ページの品質や関連性など)で決まるとされています。クロールの割り当てを増やす方法として公式に挙げられているのは、サーバーに余力を持たせることと、コンテンツの品質を高めることです。
以下は筆者のブログでの観察であり、Googleが公式に示した数値ではありません。
記事を毎日更新している場合で、googleボットがやってきては、3日から4日ほど追加記事や更新記事がgoogle検索サイトに反映されていきます。一方、記事の更新がほとんどされていない場合は、googleボットの来る回数がへるのか。一週間ほどに一度くらいしかページのgoogle検索へ反映されないようです。
Googleのクロール頻度を増やすには?
公式ドキュメントでは、クロール頻度(クロールバジェット)の最適化は、主に大規模なサイトや、更新が非常に多いサイト向けの内容とされています。そうでないサイトは、サイトマップを最新の状態に保ち、インデックス登録のレポートを定期的に確認すれば十分とされています。
それでも早く見てほしい場合には、以下の方法があります。
サイトの更新(CMSによる自動送信)
WordPressなどのCMSでは、コンテンツの追加・変更がほぼ自動的に検索エンジンへ送信されると、公式ドキュメントで案内されています。
以前は、サイトマップのpingというURLに通知する方法がありました。Googleは2023年にこのサポートを終了しており、現在は何の効果もありません。pingを送るプラグインが残っていても、Google検索に問題は起きません(サイトマップのpingエンドポイントのサポート終了について)。
URL検査ツールを使用する
URLが少ない場合、個々の URL のクロールをリクエストするには、URL 検査ツールを使用することで、URL 検査ツールでインデックス登録をリクエストすることが可能です。
ただし、リクエストしてもインデックスに登録されるとは限りません。登録されない場合は、インデックス登録のレポートでステータスを確認し、記事の内容(検索する人の疑問に答えているか、他のページと重複していないか)や内部リンクを見直します。
サイトマップ(XML)の送信で効率的にインデックス化
XMLサイトマップ(sitemap.xml)は、検索エンジンにサイト内のURLを伝えるためのファイルです。公式ドキュメントでは、URLが多い場合や、サイトを立ち上げたばかり・移転した直後に有効な手段とされています。生成したサイトマップは、Google Search Consoleに登録しましょう。
XMLサイトマップを作成
WordPressでは、WordPress標準のサイトマップ機能(バージョン5.5以降)や、Yoast SEOなどのSEOプラグインでサイトマップを生成できます。サイトマップのURLは、使う機能によって異なります(例:標準機能はwp-sitemap.xml、Yoast SEOはsitemap_index.xml)。プラグインの設定画面などで、実際のURLを確認してください。
プラグインを使わない場合は、自動生成ツールで作ったXMLファイルをサーバーにアップロードします。
Google Search Consoleでサイトマップの送信
sitemapの登録方法は、「google search console」の左側メニューで「sitemap」登録をクリックします。
すると以下のように新しいサイトマップの追加から登録できます。


「サイトマップのURLを入力」欄に、確認したサイトマップのURL(例:sitemap_index.xml。使うプラグインによって異なります)を入力します。ステータス部分にて「成功しました」と表示されれば成功です。
①SEOのプラグインをインストールしていること
②一度でも記事の更新が行われていること
が満たされていれば、サイトマップが自動で生成されていますので、上記のようにステータスに「成功しました」の表示がでます。
クロール頻度の向上:クローラビリティ改善のポイント
クローラビリティの改善は、クローラーがサイト内をスムーズに巡回し、インデックスの効率化に繋がります。以下のポイントに基づいてサイトを最適化しましょう。
内部リンクの整備
クローラーは内部リンクをたどってページを巡回するため、適切な内部リンクを設置することが重要です。関連するページ同士をリンクで繋ぐことで、クローラーの流れをスムーズにします。
ページスピードの改善
Googleのクローラーがページをすばやく読み込み・描画できると、より多くの内容を読み取れる可能性があります。サーバーの応答が遅くなったり、サーバーエラー(5xx)やレート制限(429)が返ったりすると、クロール容量が下がり、クロールされる量が減ります(公式ドキュメントより)。画像の圧縮や、不要なCSS・JavaScriptの削除で読み込み速度を改善しましょう。
コンテンツの充実
Googleは、人気のあるURLや、前回のクロールから時間がたったURLを、より頻繁に再クロールしたいと考えています(クロールの需要)。コンテンツの追加や既存コンテンツのリライトは、この需要に応える方法の一つです。ただし、記事数や更新の回数を増やせば、確実に巡回が増えるわけではありません。
クロール申請後にインデックスを効率よく反映させるための対策
クロール申請後もインデックスに反映されない場合は、サイトの構造やコンテンツの質に問題がある可能性があります。以下の対策を行い、インデックスのスピードアップを図りましょう。
クロール済みのページ確認と修正
Google Search Consoleのインデックス登録のレポートで「クロール済み – インデックス未登録」のページを確認し、個別のURLはURL検査で詳しく見ます。必要に応じてキーワードやコンテンツの修正を行います。
サイトマップを最新の状態に保つ
Googleはサイトマップを定期的に読み取ります。再送信を繰り返さなくても、クロールしてほしいURLをすべて載せ、更新したページには更新日(lastmod)を入れておけば十分です。lastmodは、実際の更新日と一致している場合に、再クロールの目安として使われます。新規ページや更新内容を見つけてもらいやすくなります。
Googleクローラーにクロールさせないページの設定方法
一部のページをクローラーから除外したい場合は、robots.txtやnoindexタグを利用しましょう。ただし、2つは役割が違います。
robots.txtの利用
robots.txtは、クローラーがアクセスするURLを指示するファイルで、主にサイトへのリクエストが多すぎる状態を避けるために使います。特定のページをクロールさせないよう、ページごとに設定することもできます。
ただし、robots.txtは、ページを検索結果に出さないための方法ではありません。robots.txtでクロールを止めても、他のサイトからのリンクがあれば、URLだけが検索結果に表示されることがあります。その場合、ページの説明は表示されません(公式ドキュメントより)。
noindexタグの使用
クローラーは巡回するがインデックスさせたくないページにはnoindexタグを付加します。検索結果に反映されることを防ぐことができます。検索結果に出したくないページは、noindexかパスワード保護で対応するのが、公式ドキュメントの案内です。
なお、noindexを付けたページも、Googleは一度クロールして確認します。そのため、クロールの回数そのものは減りません。
まとめ
Googleクローラーへの申請(インデックス登録のリクエスト)は必須ではなく、早く見てほしいときの補助的な手段です。反映までの目安は数日から数週間で、リクエストしても登録は保証されません。サイトマップの整備や内部リンク、ページの表示速度の改善といった土台づくりを続けながら、必要な場面で申請を使いましょう。
- クロール申請はURL検査ツールで行い、反映まで数日から数週間かかる。
- サイトマップを最新に保ち、内部リンクとページ速度を整えると、クローラーが巡回しやすくなる。
- Googlebotかどうかは、IPと逆引きDNSで確認し、検索結果に出したくないページにはnoindexを使う。
クロール申請は、公式ドキュメントで確認しながら、必要な場面で使いましょう。
関連リンク









コメント
コメント一覧 (3件)
[…] 公開後は、Search Consoleの「URL検査」から「インデックス登録をリクエスト」を送ると、Googleの再巡回を促せます。Googleのヘルプ(URL検査ツール)によると、反映には1日程度から1〜2週間ほどかかり、リクエストを送っても必ず登録されるわけではありません。操作の手順は、Googleクローラー申請の全手順にまとめています。 […]
[…] Server(18.04LTS, 20.04LTS, 22.04LTS)… SEO対策の賢者 【SEO対策】 Googleクローラー申請の全手順を徹底解説:インデックスを早め… […]
[…] SEO対策の賢者 【SEO対策】 Googleクローラー申請の全手順を徹底解説:インデックスを早め… […]