サイトがGoogleの検索結果に早く表示されるためには、Googleクローラーの効率的な申請とインデックス化が欠かせません。本記事では、Google Search Consoleの利用方法やURL検査ツール、XMLサイトマップを活用したインデックス申請の手順を詳しく解説します。また、SEO効果を最大化するためのクローラビリティ向上のポイントや、クロール頻度を高める具体的な方法も紹介します。
管理人本記事の読者層は以下の方を想定しています。
- Web初心者、SEO担当者、ブログ運営者
- SEOを本格的に学びたい方、企業マーケティング担当者、サイト設計に取り組む開発者
- 新規サイトを立ち上げた方、検索結果の露出を増やしたい方、ページ改善に興味がある方
Googleのクローラーとは？仕組みとSEOとの関係
Googleのクローラーは、サイト内の情報を収集し、検索エンジンのデータベース（インデックス）を構成する役割を果たしています。インデックス化されることで初めてユーザーの検索結果に表示されるようになるため、クローラーが効率的に動ける環境を整えることが重要です。
検索エンジンが巡回しやすいよう、ページ構造や内部リンクを最適化し、クローラーのアクセスを促進させることがSEOの成功に繋がります。
Googleにクローラー申請が必要な理由とタイミング
クローラー申請を行うタイミングは、主に2つあります。
新しいページを追加した場合
新しくページを追加したら、クローラー申請を行いインデックスの速度を高めます。これにより、検索結果に迅速に反映され、流入機会が増える可能性が高まります。
既存ページを更新した場合
ページのリライトを行った場合も同様にクローラー申請が必要です。既存ページの内容が更新されただけでは、検索結果にすぐに反映されません。更新が有効に反映されるためにもクローラー申請が欠かせません。
Google Search Consoleからクローリングの申請
Google Search Consoleは、Googleのクローラーにサイト情報を迅速に届けるためのツールです。以下、クローラー申請手順を紹介します。
Google Search Consoleにアクセス
初めにGoogle Search Consoleにアクセスし、サイトを登録します。登録が完了すると、サイトのURLの確認が求められます。
Google Search Console へようこそからwebへアクセスすると以下のようなスクリーンが表示されます。
「ドメイン」または「URLプレフィックス」を選択
サイトの構造に応じて、「ドメイン」（左側）か「URLプレフィックス」（右側）のどちらかを選びます。サブディレクトリ構造を採用している場合は「URLプレフィックス」を選択し、サブドメインの場合は「ドメイン」を選択します。
一般的な.comをもつURLアドレスを例にすると構造上、下記のように区別できます。
①ドメインまたはサブドメイン構成を選択する場合
このことから、サーバーの構造でWordPressがルート直下にインストールされている場合は①を選びます。
上図左側の「ドメイン」もしくは「サブドメイン」部分にあなたのURLを入力します。http:// やhttps://などの入力は不要です。
続行を押せば登録は終了です。
②サブディレクトリ構成を選択する場合
一方で、サーバー機のルートディレクトリ以下に/blogのディレクトリ構造を作った後にWordPressをインストールしている場合、URLの構造はサブディレクトリ構造となっています。この場合、①の「ドメイン」（左側）では登録ができません。右側の「URLプレフィックス」を選びましょう。
右側の「URLプレフィックス」部分にサブディレクトリを加えた全URL入力する。
例えば、
https://〇〇〇〇.xxxxx.com/blog/
を登録します。ここでは最後の「/」は入れましょう。
所有権の確認
URLを入力したら、所有権の確認が求められます。
画面の指示に従い「1.ファイルをダウンロード」から「googleXXXXXX.html」ファイルをダウンロードしてサーバーにアップロードして確認を行います。
上記の画面上の下の「確認」ボタンをクリックして、下記の証明画面がでれば所有権が証明されたことになります。
URL検査ツールでクローラー申請
URL検査ツールを使用し、クローリングをリクエストします。Google Search Consoleの上部にある入力フィールドに対象のページURLを入力し、「インデックス登録をリクエスト」をクリックすることで申請完了です。
Googleクローラーの反映時期は？
だいたい一月ほどかかります。
Googleクローラーの巡回頻度は？
ボット (google bot) がクローリングする間隔はサイトによってまちまちです。
自身のサイトがどれだけクロールされているかの確認は、Google Search Console (GSC) から知ることができます。（GSCはSiteKitをWordPressにインストールすることでも確認できます。）
下記はGSCの設定画面です。
画面のクロールの統計情報「レポートを開く」からクロール回数を確認できます。
このブログは2022年9月時点で、開設してはや3ヶ月ほど経ちました。常に何かしらクローリングしていますが、大々的なページインデックス化は週に二回ほどあります。3~4日に一回ほどです。
クロールが来てもGSCのインデックスを確認するかぎりでは、すべてをサイト内のページを掲載してくれるわけではないようです。サイト全体のクローラー巡回の後、1日ほど遅れてページのインデックス登録が発生するようです。
中には、
①「クロール済み – インデックス未登録」という巡回はしたが、キーワードが見つからずにインデックス化ができない場合
②「検出 – インデックス未登録」というおそらくインデックス登録するほどでもないページの場合
があり、記事の修正を余儀なくされる場合があるようです。
Googleクロール頻度を短くする方法はあるのでしょうか。
Googleは世界中のウェブサイトを巡回しており、クロール間隔を短くしたり、クロールサイト数を増やしたりする要因として以下の点があると考えられています。
- クロール対象となるURLがユーザーに取って価値があるか？
- インターネット上で人気があるか？
- 更新が頻繁にされているか？
- 最後の更新から時間がたっていないか？
Googleがクロールする回数が増えれば、それだけ検索結果に乗り集客数が増えることになります。結論は良い記事を書くことでしょう。
記事を毎日更新している場合で、googleボットがやってきては、3日から4日ほど追加記事や更新記事がgoogle検索サイトに反映されていきます。一方、記事の更新がほとんどされていない場合は、googleボットの来る回数がへるのか。一週間ほどに一度くらいしかページのgoogle検索へ反映されないようです。
Googleのクロール頻度を増やすには？
クロール回数を上げるためにはドメインパワーを上げることです。これには日々、有益な新規コンテンツを増やし、検索順位の悪いページを常にリニューアルすることが重要です。
それでも悠長には構えていられない場合には、以下の方法が実際、効果的です。
サイトの更新・リトライ更新
とくにWordPressなどのコンテンツ管理プラットフォームを使用している場合、適切なプラグインをインストールすることでコンテンツの追加・変更により自動的に検索エンジンにPING送信されたりします。
URL検査サイトを使用する
URLが少ない場合、個々の URL のクロールをリクエストするには、URL 検査ツールを使用することで、URL 検査ツールでインデックス登録をリクエストすることが可能です。
ただ、記事の内容に一致する「検索ワード」が見つからなかったり、「検索ワード」の検索数が少なかったりする場合には、URL検査サイトで検索してもサイトが登録されないことがあります。その場合、検索されやすい検索ワードを確認して、ワードに沿った記事をリライトするなどが必要です。
サイトマップ（XML）の送信で効率的にインデックス化
クローラーの効率を高めるため、XMLサイトマップ（sitemap.xml）を生成し、Google Search Consoleに登録しましょう。XMLサイトマップは、検索エンジンにページ構造を伝えるためのファイルで、特に大規模なサイトで重要性が増します。
XMLサイトマップを作成
XMLサイトマップの作成には、Yoast SEOなどのプラグインを使用するか、自動生成ツールを利用します。生成したXMLファイルをサーバーにアップロードします。
Google Search Consoleでサイトマップの送信
sitemapの登録方法は、「google search console」の左側メニューで「sitemap」登録をクリックします。
すると以下のように新しいサイトマップの追加から登録できます。
「サイトマップのURLを入力」欄に「sitemap.xml」とタイプします。ステータス部分にて「成功しました」と表示されれば成功です。
①SEOのプラグインをインストールしていること
②一度でも記事の更新が行われていること
が満たされていれば、サイトマップが自動で生成されていますので、上記のようにステータスに「成功しました」の表示がでます。
クロール頻度の向上：クローラビリティ改善のポイント
クローラビリティの改善は、クローラーがサイト内をスムーズに巡回し、インデックスの効率化に繋がります。以下のポイントに基づいてサイトを最適化しましょう。
内部リンクの整備
クローラーは内部リンクをたどってページを巡回するため、適切な内部リンクを設置することが重要です。関連するページ同士をリンクで繋ぐことで、クローラーの流れをスムーズにします。
ページスピードの改善
ページ読み込み速度が遅いと、クローラーの巡回効率が低下します。画像の圧縮や、不要なCSS・JavaScriptの削除で読み込み速度を改善しましょう。
コンテンツの充実
記事数や更新頻度を高めることで、クローラーの巡回頻度を増やすことができます。コンテンツの追加や既存コンテンツのリライトで、クローラーのアクセスを促します。
クロール申請後にインデックスを効率よく反映させるための対策
クロール申請後もインデックスに反映されない場合は、サイトの構造やコンテンツの質に問題がある可能性があります。以下の対策を行い、インデックスのスピードアップを図りましょう。
クロール済みのページ確認と修正
Google Search Consoleの「URL検査」機能でクロール済みだがインデックス未登録のページを確認し、必要に応じてキーワードやコンテンツの修正を行います。
サイトマップの再送信
定期的にサイトマップを更新し、最新情報が反映されるよう再送信を行います。新規ページや更新内容が迅速に反映されやすくなります。
Googleクローラーにクロールさせないページの設定方法
一部のページをクローラーから除外したい場合は、robots.txtやnoindexタグを利用しましょう。
robots.txtの利用
robots.txtファイルを用いて、特定のページをクロールさせないよう指示できます。ページごとに設定することで、クローラーの巡回を制御できます。
noindexタグの使用
クローラーは巡回するがインデックスさせたくないページにはnoindexタグを付加します。検索結果に反映されることを防ぐことができます。
まとめ
Googleクローラーへの申請は、インデックス速度を高めて検索結果の露出を増やすための重要なプロセスです。特にSEO対策として、定期的なコンテンツ更新や内部リンクの整備、ページスピードの改善は効果的です。効率的にインデックスさせるため、適切な申請手順とサイト構造の改善を継続的に行いましょう。
- クローラーに適切な申請を行うことで、インデックス速度が大幅に向上。
- 内部リンクやページスピードの改善が、クローラビリティを高める。
- URL検査ツールやXMLサイトマップを活用し、SEO効果を最大限に引き出す。
次回の記事をご期待下さい。どうぞよろしくお願いいたします。
関連リンク
コメント