Googleのクローラーとは？検索順位の仕組みや巡回頻度を簡単に解説【2024年最新版】

クローラーとは、Googleなどの検索エンジンが情報収集に使用しているプログラムです。検索エンジンは、クローラーが収集した情報にもとづいてWebサイトをインデックスし、検索順位を決定しています。効果的にSEO対策を実施するには、クローラーの機能・仕組みを知っておかなければなりません。この記事では、検索エンジンの仕組みやクローラーの巡回を促進する方法を解説するので、ぜひご覧ください。

【関連ページ】
ネット広告にかかる費用・相場感や、あなたの目的別にネット広告会社をお探しいただけます。
ネット広告の費用・相場
クローラーについて相談できるネット広告会社一覧

クローラーとはインターネット上を巡回して、Webサイトの情報を集めるロボットのようなプログラムです。クローラー（crawler）には、這う者という意味があります。インターネット上には膨大な数のWebサイトが存在しているため、人の手ですべてのWebサイトの情報を収集・整理するのは不可能です。そのため、Googleなどの検索エンジンは、クローラーを用いて新規サイトや更新されたページの情報収集を自動化。基本的には、すでに検索エンジンに登録されているWebページのリンクを辿りながら新規ページやコンテンツの更新を検出しています。SEO対策を成功させるには、クローラーが巡回しやすいサイトの構築が必須です。

検索順位は、実店舗の立地条件のようなものです。検索結果ページの順位が高いサイトほど、ユーザーにクリックされやすい傾向にあります。検索エンジンが、検索順位を決定するおおまかな流れは以下の通りです。
・1.クローリングしてインターネット上のWebサイトの情報を収集
・2.収集したWebサイトの情報を整理・分類してデータベースにインデックス（登録）
・3.検索ワードとの関連性の高さをもとに検索アルゴリズムで順位を決定
以上のような流れでWebサイトの検索順位が決められます。検索エンジンが順位を決定する仕組みを詳しく解説しましょう。

クローリングは、インターネット上のWebサイトの情報を集める工程です。クローラーは、内部リンクや外部サイトからのリンクを辿ってサイトを巡回。クローラーは人間のように、視覚的にリンクを識別できるわけではありません。WebページのHTMLを解析してリンクを検出しているのです。クローラーにリンクを認識してもらうには、HTMLの文法に則って正しく記述する必要があります。クローラーがWebサイトを巡回しない限り、検索結果に表示されることはありません。Webサイトを作成する際は、クローラーが構造を理解できるようにページを構築することが重要です。

ユーザーが検索した際に適切な結果を表示するには、クローラーが収集した情報を整理して、すぐに引き出せる状態にしておく必要があります。インデックスは、Webサイトのコンテンツを解析し、キーワードと紐づけてデータベースに登録する工程です。Webページの内容を把握するために、HTMLタグやテキスト、画像などを解析。解析したコンテンツからキーワードを抽出し、データベースに登録します。キーワードは主にWebページのタイトルや見出し、ディスクリプションなどから抽出。タイトルや見出しに「旅行」という単語が含まれていれば、旅行と紐づけられてインデックスされます。

検索順位は、検索キーワードとアルゴリズムによって決定されます。検索エンジンは、ユーザーが検索に使用したキーワードの検索意図を推測。ユーザーの検索意図に対応していると考えられるページを優先的に表示します。「国内　旅行」というキーワードでユーザーが検索した場合、日本人ユーザーには日本の旅行関連のサイト、英国人ユーザーには英国の旅行サイトを表示。検索順位はキーワードとの関連性はもちろん、Webサイトの専門性の高さやコンテンツの質、ページの利便性なども考慮して決定されるのです。

代表的な検索エンジンとクローラーは以下の通りです。
・Google：Googlebot
・Yahoo!：Yahoo! Slurp
・Bing：Bingbot
クローラーは検索エンジンにつき1種類ではなく、収集するデータごとに複数の種類が運用されています。総務省の発表によるとモバイル検索における国内シェアはGoogleが74.2%、Yahoo!が25.4%。日本のYahoo!には、Googleのシステムが採用されているため、Googleを意識したSEO対策を実施すれば、ほぼすべての国内ユーザーをカバーできるでしょう。

「自社にあった会社が見つからない」「会社選びに時間が割けない」とお悩みの方は、お気軽に「アイミツ」にお問い合わせください。数あるネット広告会社からあなたの要望にあった会社をピックアップして無料でご紹介いたします。

クローラーが巡回時に取得する主なファイル形式は以下の通りです。
・HTML・CSS・JavaScript
・テキスト
・画像・動画・音声
・JSON
・XML
・PDF
クローラーは、HTTPやHTTPSと呼ばれる通信規格を使用して情報を収集しています。HTTPSはHTTPの通信を暗号化してセキュリティを強化した規格。ユーザーの安全性向上の観点から、近年ではHTTPSへの対応が必須になりつつあります。

検索エンジンはWebサイトの情報収集をクローラーで自動化していますが、すべてのサイトを同じように巡回しているわけではありません。URLごとにクローラーが巡回しにくる頻度に違いがあるのです。巡回の頻度は、Googleの担当者でも把握していないとされています。巡回頻度が低いサイトの場合、ページを更新してから検索結果に反映されるまで、数ヵ月かかることも。クローラーの巡回頻度が高ければ、検索結果に反映されるまでの期間が短くなる傾向にあります。SEO対策では、クローラーの巡回頻度を高めることも重要です。

GoogleのSearchConsoleを利用すれば、Googleのクローラーが自社サイトをどの程度の頻度で巡回しているのかを確認できます。Search Consoleで頻度を確認する手順をご紹介しましょう。
・1.Search Consoleにログインして「設定」をクリック
・2.「クロールの統計情報」の「レポートを開く」をクリック
・3.過去90日間のクロールの頻度が表示される
クロールの統計情報では、1日あたりのクロール回数やダウンロードしたデータ量、ダウンロード時間などを確認できます。継続的にクロールされているかどうかをチェックしましょう。サイトのレスポンスに問題がある場合は、「レスポンス別」にエラーが表示されます  

1、Search Consoleにログインして「設定」をクリック

2、「クロールの統計情報」の「レポートを開く」をクリック

3、過去90日間のクロールの頻度が表示される

基本的にクローラーの巡回頻度は、Webページに対する検索エンジンの評価によって決まります。クローラーの巡回頻度が高まると、サイトの内容が検索エンジンに伝わりやすくなるためSEOでは有利です。クローラーの巡回頻度を高めるには、重複コンテンツの見直しやサイトマップの作成、パンくずリストの設置など、クローラーが巡回しやすいサイトを構築する必要があります。クローラーの巡回を促進させる方法をご紹介しましょう。

SearchConsoleには、Googleに対して手動でクロールをリクエストする機能が備わっています。手動でクロールをリクエストする方法は以下の通りです。
・1.SearchConsoleにログインして画面上部にある「（サイトのドメイン）内のすべてのURLを検索する」と表示されている検索窓にクロールをリクエストするURLを入力
・2.虫眼鏡アイコンをクリック
・3.入力したURLのインデックス状況が表示される
・4.「インデックス登録をリクエスト」をクリック
手動でのクロールのリクエストは、検査するURLが少ない場合に向いている方法です。クロールをリクエストしたとしても、すぐにインデックス・検索結果に反映されるわけではないので注意しましょう。

検査するURLの数が多い場合は、サイトマップを送信しましょう。サイトマップとは、Webサイト内の各ページのURLを一覧でまとめたページです。検索エンジンにサイトマップを送信すれば、クロールをリクエストできます。SearchConsoleでサイトマップを送信する手順をご紹介しましょう。
・1.SearchConsoleにログインして、画面左の「サイトマップ」をクリック
・2.「新しいサイトマップの追加」にサイトマップのURLを入力
・3.「送信」をクリック
すでにサイトマップを登録している場合は、「送信されたサイトマップ」が表示されます。大幅にサイトを改修した場合は、上記の方法と同じ手順でサイトマップを再送信しましょう。

1、SearchConsoleにログインして、画面左の「サイトマップ」をクリック

2、「新しいサイトマップの追加」にサイトマップのURLを入力
3、「送信」をクリック

重複コンテンツとは、外部サイト・同一サイト内に存在する著しく類似・まったく同じ内容のコンテンツを指します。ECサイトでサイズの異なる同一商品のページを複数作成している場合、重複ページと判断される可能性も。重複ページが増えるとクロールの頻度が減少し、ページがインデックスされない可能性もあります。加えて、重複ページごとに検索エンジンからの評価が分散してしまう場合も、評価が分散すると検索順位がなかなか上がりません。重複コンテンツがサイト内に存在する場合は、内容を見直しましょう。ほかにも、重複コンテンツへの対処方法として、301リダイレクトやcanonicalタグの設置、URLパラメータツールの活用などが挙げられます。それぞれの対処法もご紹介しましょう。

301リダイレクトとは、特定のURLへアクセスしたユーザーを、指定したURLへ恒久的に転送する仕組みです。Apacheで301リダイレクトする方法は以下の通りです。
・1.「RewriteEngine on」「RewriteRule "^oldpage.html$" "http://〇〇.co.jp/newpage.html" [R=301]」と記述したhtaccessファイルを作成
・2.サーバーへアップロード
これで「oldpage.html」から「http://〇〇.co.jp/newpage.html」へ転送されます。

canonicalタグは、正規のURLを検索エンジンに伝えるためのHTMLタグです。同じサイト内に「www.」があるページとないページが存在する場合、重複コンテンツと見なされることも。canonicalタグで正規化する方法は以下の通りです。
・1.canonicalタグを追加したいページのHTMLファイルを開く
・2.head要素内に<link rel=”canonical” href=”正規のURL”>と記述し保存
・3.HTMLファイルをサーバーにアップロード
canonicalタグの「href=””」で正規のURLを指定します。

URLパラメータツールは、SearchConsoleに搭載されている機能です。検索エンジンによるURLパラメータの処理方法を指定できます。URLパラメータツールの使用方法は以下の通りです。
・1.SearchConsoleのURLパラメータツールを開く
・2.パラメータを変更するURLの「編集」をクリック
・3.「はい」を選択し、「パラメータがコンテンツに与える影響」を設定
・4.「GooglebotでクロールするURL」で正規のURLを設定
URLパラメータツールは、2022年4月27日以降は使用できなくなるので注意しましょう。

パンくずリストとは、「商品＞レジャー＞キャンプ」のようにページの階層を示す内部リンクのリストです。パンくずリストを設置すると、巡回頻度を高められる可能性があります。パンくずリストはリストタグで記述しますが、構造化データも追加しなければなりません。JSON-LDによる構造化の方法は以下の通りです。
・1.パンくずリストとは別にscriptタグを記述し、type属性を「application/ld+json」に指定
・2.BreadcrumbListのListItemでURLやリスト内での順序などを指定
・3.Googleのリッチリザルトテストツールで検索結果に反映されているかチェック
ListItemの詳細な定義は、「schema.org」のサイトでご確認ください。

パンくずリストなどの内部リンクを設置すると、クローラーがサイト内を巡回しやすくなるため、巡回頻度の向上が期待できます。しかし、単純に内部リンクを増やすだけでは効果は見込めません。クローラーの巡回頻度を高めるには、関連性の高いページ同士を内部リンクでつなぐ必要があるでしょう。コンテンツ内に内部リンクを設置する方法は以下の通りです。
・1.aタグの要素内にアンカーテキストを記述
・2.アンカーテキストはリンク先のページのタイトルなど内容が分かるワードを使用
・3.aタグのhref属性でリンク先のURLを指定
■参考タグ　<a href="参照するリンク先のURL">アンカーテキスト</a>
バナー画像などにリンクを設置する場合は、imgタグのalt属性がアンカーテキストの役割を果たします。alt属性には、リンク先の内容が分かるワードを使用しましょう。

存在しないURLにユーザーがアクセスした場合、通常はHTTPステータスコード404エラーを表示して、ページが存在しないことを知らせます。SearchConsoleで404エラーになっているページを確認する方法は以下の通りです。
・1.画面左の「カバレッジ」をクリック
・2.「除外」をクリック
・3.「見つかりませんでした（404）」をクリック
404ページが表示されている状態で、リクエストが正常に処理されたことを示す200が返されると、「ソフト404」として表示されます。ソフト404はクロールに影響を与える可能性があるので、エラーになっている場合は、サイトの表示速度やrobots.txtでクローラーをブロックしていないかチェックしましょう。

1、画面左の「カバレッジ」をクリック

2、「除外」をクリック

3、「見つかりませんでした（404）」をクリック

ネット広告の費用をご紹介します。

ネット広告の費用をご紹介しました。より正確な費用を知りたい方は料金シミュレーターのご利用をおすすめします。

Googleのクローラーや検索順位の仕組み、巡回頻度について解説しました。法人向け一括見積もりサービス「アイミツ」では、クローラー対策やSEO対策に強いネット広告会社を無料でご紹介しています。専門のコンシェルジュがご希望をうかがった上で、条件を満たす優良企業をご紹介！ヒアリングは10分程度で済むので、最小限の手間で複数の会社の見積もりを受け取れます。Web上での集客でお困りの方は、お気軽にご相談ください。

【相談前にまずは会社一覧を見たいという方はこちら】
クローラーについて相談できるネット広告会社一覧
【費用感を知りたいという方はこちら】
ネット広告の費用・相場