Webサイトの集客改善について、”無料”で相談してみませんか?
貴社に最適なテクニカルSEO対策・コンテンツSEO対策・リスティング広告運用を無料でアドバイスいたします!
▶無料のSEO相談窓口はこちらから
なぜGoogleにインデックスされないのか?原因と対策を徹底解説
当記事では、Googleにインデックスされない原因と対策方法について解説します。
作成したページが検索結果に表示されず、SEOで成果が出ていないと悩んでいる方はぜひ参考にしてみてください。
また、Keywordmapを開発したCINCでは、ビッグデータを活用し、SEO戦略の策定から効果検証まで一気通貫で支援しています。SEOに課題がある、SEOに詳しい人がいないとお困りの方はお気軽にご相談ください。⇒CINCのSEOコンサルティング・SEO対策代行サービス
目次
Googleにインデックスされているか確認する
Webページが検索結果に表示されていないことを確認した場合、まずは本当にページがGoogleにインデックスされていないのかどうかチェックしましょう。
Googleサーチコンソールを使う方法と、検索窓(検索ワードを入力する部分)を使う方法があります。
Googleサーチコンソールで確認する
Googleサーチコンソールを導入している場合は、サーチコンソールを使ってインデックス状況を確認するのが最も確実です。目的に応じて、以下2つのやり方があります。
<URL検査:特定URLのインデックス状況を知りたい場合>
インデックスされているかどうか疑わしいページが既にある場合は、以下の手順で確認しましょう。
①Googleサーチコンソールにログインし、上部の検索窓にURLを入力します。
②「URLはGoogleに登録されています」と表示された場合はインデックスされているが、一方で、「URLがGoogleに登録されていません」と表示された場合はインデックスされていません。
<「インデックス作成」⇒「ページ」:現状でインデックスされていないページを調査する場合>
現状でインデックスされていないページを調査することも可能です。以下の手順でインデックスの登録有無を確認してください。
①Googleサーチコンソールにログインし、「インデックス作成」の「ページ」をクリックします。
②「未登録」「登録済み」に分かれてページが表示されます。
③画面を下にスクロールし、「ページがインデックスに登録されなかった理由」の各項目をクリックすると現状、インデックスされていないページが表示されます。
なお、あえてインデックスさせていない場合もありますので、未登録があるからといって必ずしも悪いわけではありません。
検索窓で確認する(「site:」で検索する)
Googleサーチコンソールを利用するのが、Google検索におけるインデックス状況の確実な確認方法ではありますが、何らかの理由でサーチコンソールを使用できない場合、Googleの検索窓に「site:(ページURL)」と入力して、インデックス状況を調べる方法があります。
検索結果で調べたいページが表示された場合はインデックスされており、表示されなかった場合はインデックスされていない可能性が高いです。
ただしこの方法よりGoogleサーチコンソールを使って調べる方がよほど確実であるため、極力「site:」でインデックス状況を調べるのは避けるようにしましょう。※競合調査目的で、自社以外の外部サイトの大まかなページ数を調べるときなどは有効です。
Googleにインデックスされない原因と対策方法
上記の方法で調べた結果、インデックスされていないことが分かった場合、きちんと原因を探って適切な対策を取る必要があります。インデックスされない原因として考えられるのは主に以下の7つです。
- Googleからペナルティを受けている
- noindexを指定している
- robots.txtでクローラーをブロックしている
- canonicalタグでURLの正規化指定が間違っている
- サーバーエラーが起きている
- サイトの専門性が低い
- コンテンツページの質が低い
なお、Googleにインデックスされない原因のほとんどは、上記でも触れたGoogleサーチコンソールの「ページがインデックスに登録されなかった理由」において示されています。したがって、アクセスが発生していない、検索結果に表示されない、インデックスされていない、といった問題が生じた際は、まずサーチコンソールをチェックする癖をつけましょう。
▼「インデックス作成」⇒「ページ」⇒「ページがインデックスに登録されなかった理由」
それでは、それぞれの原因について詳しく見ていきましょう。
Googleからペナルティを受けている
Googleはスパム(検索順位の不当な操作、いわゆるブラックハットSEO)に関するポリシーを明文化しています。ページの内容や構造にこのガイドラインへの違反が見られる場合は、Webサイトがペナルティを受け、検索順位の低下、そして最悪の場合インデックス削除につながります。
具体的には以下のような項目に該当するとペナルティを受ける可能性があります。
- クローキング(ユーザーと検索エンジンに、それぞれ別のページ・コンテンツを出し分ける行為)
- ハッキングされたコンテンツ
- 隠しテキストと隠しリンク
- キーワードの乱用
- リンクスパム
- 機械生成トラフィック
- マルウェアや悪意のある動作
- 誤解を招く機能
- 無断で複製されたコンテンツ
- 不正なリダイレクト
- スパム行為のある自動生成コンテンツ
- 内容の薄いアフィリエイト ページ
- ユーザー生成スパム
それぞれの項目に関する詳しい説明は、「Google ウェブ検索のスパムに関するポリシー(Google検索セントラル)」を確認してください。
対策方法
Googleのペナルティは、「自動ペナルティ」と「手動ペナルティ」の2種類があります。
- 自動ペナルティ:クローラーのアルゴリズムによって自動でスパムを検知する
- 手動ペナルティ:Google担当者が目検でスパムを判定する
このうち自動ペナルティについては、どのようなペナルティを受けたのか特定するのは難しく、上記のガイドラインに照らし合わせて自分で調査する必要があります。
手動ペナルティについては、以下の方法でGoogleサーチコンソールから確認することが可能です。
<手動ペナルティの確認手順>
- Googleサーチコンソールにログインし、「手動による対策」をクリック
- 手動ペナルティの状況を確認
手動ペナルティが無い場合は「問題は検出されませんでした」と表示されます。ある場合は「●件の問題を検出しました」と表示され、その問題が何であるかも表示されます。
ペナルティの原因を特定しサイト内の改善を行った後は、改めてページをインデックスしてもらえるよう、Googleサーチコンソールから再審査リクエストを行いましょう。上記の「手動による対策」の画面より「審査のリクエスト」ボタンを押し、どのように問題解決を行ったかをテキストで記載して送信します。
Googleのペナルティへの対処法について詳しく知りたい方は以下の記事もチェックしてみてください。
「Googleペナルティとは?順位下落の原因と解決策をみつける方法」
noindexを設定している
インデックスされない要因として、ページにnoindexを設定してしまっていることが挙げられます。
noindexとは、ページが検索エンジンにインデックスされることを防ぐ設定です。検索結果に表示される必要のないページや、低品質ページなどに設定することで、サイト全体の評価を落とさないための対策として用いられます。
インデックスさせたいページに誤ってnoindexを設定してしまうなど、人為的ミスが発生しうるため、noindexを設定する際は細心の注意が必要です。
対策方法
noindexタグは通常、あえてインデックスさせたくないページのheadタグ内に以下のように記述します。
<meta name=”robots” content=”noindex”>
インデックスさせたいページにもnoindexタグを入れてしまっていないか確認しましょう。WordPressで制作したサイトの場合、デフォルトでnoindexが設定される仕様になっている可能性があります。
もしnoindexが入ってしまっていた場合は、削除したのち、Googleに再度クロールを促すべく、「インデックス登録のリクエスト」を行います。
<インデックス登録のリクエストの手順>
- Googleサーチコンソールにログインし、「URL検査」をクリック
- URLを入力
- 「インデックス登録をリクエスト」をクリック
robots.txtでクローラーをブロックしている
robots.txtでクローラーをブロックしてしまっているというのも要因の一つとして考えられます。
本来、robots.txtは、特定のページへのクロールを制御し、他の優先度が高いページへのクロールを効率よく行う目的で記述するファイルです。
robots.txtによってクロールしてほしいURLまでクロールを拒否する設定をしていると、インデックスされない可能性があります。
対策方法
robots.txtファイル内では、以下のようにURLを記述指定することでクローラーの巡回をブロックします。
User-Agent: *
Disallow: ●●●●/●●●●.html
もしインデックスさせたいページまでDisallowになってしまっていた場合は、該当の記述を削除し、robots.txtを再度サーバーにアップロードし直してください。
robotos.txtの記述や設定方法については、以下のGoogle公式ページが参考になります。
「robots.txt の書き方、設定と送信」
canonicalによるURLの正規化指定が間違ってる
canonicalを用いたURLの正規化指定が間違っていることもインデックスされない原因になりえます。
URLの正規化とは、Webサイト内に同じコンテンツ(重複コンテンツ)や類似したコンテンツが異なるURLで存在する場合、どのURLが正規版であるかをクローラーに伝えるための作業です。例えばPCとスマホでURLを分けているケースや、ECサイトなどで、同じ商品でもカラーなどによってURLが異なるといったケースが想定されます。
この正規化先のURLを誤って設定すると、インデックスされない事態につながる場合があります。
対策方法
canonicalタグは、正規ページと非正規ページ(重複ページ)の両方のheadタグ内に以下のように記述します。
<link rel=”canonical” href=”正規化先のURL” />
このURL部分の記述が本来インデックスさせたい正規ページと異なっていないか確認してください。
設定が間違っていた場合は記述を修正したのち、Googleに再度クロールを促すべく、前述した「インデックス登録のリクエスト」を行います。
cannonicalの使い方について、詳しく知りたい方は以下の記事も読んでみてください。
「canonicalとは?使い方やURLの正規化でSEO効果を得る方法を解説」
サーバーエラーが起きている
サーバーエラー(5xxエラー)もページがインデックスされない原因のひとつです。5xxエラーは、クローラーがURLにアクセスできなかった、リクエストがタイムアウトになった、サイトがビジー状態だったなどの理由により、サーバーがリクエスト処理に失敗した時に発生します。
「404 Not Found」のエラーなどはページにアクセスした時点で分かるため気付きやすいですが、5xxエラーは一時的なエラーで自分でも気づかない場合があります。「Googleにインデックスされているか確認する」のパートで紹介した「インデックス作成>ページ」のレポートで、サーバエラーが起きていたかどうかを知ることができます。
対策方法
サーバーエラー(5xxエラー)については、以下のような原因が考えられます。特にサーバーの過負荷などは起こりやすいエラーですので、サーバー容量を増やす、サイトのメモリ量を見直すなどして対処しましょう。
- 動的ページへのリクエストに伴う過剰なページ読み込みを減らす
- ホスティング サーバーの停止、過負荷、構成ミスがないかどうかを確認する
- Google のクローラーを誤ってブロックしていないかどうかを確認する
- 検索エンジンによるサイトのクロールとインデックス登録を適切に管理する
上記について詳しくは「ページ インデックス登録レポート(Search Consoleヘルプ)」をご確認ください。
サイトの専門性が低い
Googleはコンテンツの品質を評価する指針として、「E-E-A-T」を掲げています。E-E-A-Tとは、Expertise(専門性)、Experience(経験)、Authoritativeness(権威性)、 Trustworthiness(信頼性)の頭文字をとった言葉で、これらを満たすコンテンツがGoogleから高い評価を受ける傾向があります。(なお、E-E-A-Tは検索順位を決める要素ではありません。あくまでも良いコンテンツを判断する評価指針です。)
E-E-A-Tのすべての指標が重要である一方、その中の一つである「専門性(Expertise)」は特に注視する必要があります。特定のコンテンツだけでなく、Webサイト全体を通して一貫した専門性があるかどうかが、Googleからの評価に影響する傾向にあります。
新しく立ち上げたばかりのWebサイトはそもそもコンテンツが少ないため、専門性は相対的に低くならざるを得ません。そのことがインデックスのされにくさにつながることがあります。
対策方法
専門性が低い問題に対する対処法は、継続的かつ定期的に特定ジャンルに関するコンテンツを作成し続けることです。「これは●●に関するサイトである」と自他ともに認めてもらえるようなサイトづくりを心がけましょう。
ただし、むやみやたらに低品質なコンテンツを量産することは逆にサイト全体の評価を落とすことにつながるため、十分に注意が必要です。
※「低品質なコンテンツ」とは何かについては、次章で説明します。
コンテンツページの質が低い
Googleの基準において低品質なコンテンツと認識されていると、インデックスされないことがあります。
コンテンツが評価されるためには、前章で解説したE-E-A-T(専門性・経験・権威性・信頼性)を満たし、ユーザーにとって有益であることが必要です。E-E-A-Tの観点においてユーザーに対する有用性が認められないコンテンツが量産されると、インデックスに影響を及ぼします。例えば以下のような例です。
- 情報量が少ない
- 他のサイト、ページのコピーのような内容である
- データの引用元の表記がない、あっても信頼度の低いサイトからの引用である
対策方法
E-E-A-Tを意識したコンテンツづくりを行いましょう。おすすめの方法は、対策したいキーワードで検索上位を獲得しているコンテンツを複数参照してみることです。それらのコンテンツは、E-E-A-Tを満たしている可能性が高い傾向にあるからです。
また、ユーザーの検索意図を詳細に調査し、検索ニーズに対して多角的、かつ専門性の高い回答を用意するコンテンツ制作を心掛けることも、E-E-A-Tを高める上で重要です。
Googleにインデックスされやすくする方法
Googleにインデックスされない原因と、その対策を解説してきました。本章では、事前にインデックスされやすくするための方法を解説します。
- XMLサイトマップをアップロードする
- URL検査ツールでインデックス登録のリクエストを送る
- クローラビリティを向上させる
- 既にインデックスされているページからリンクをつなぐ
XMLサイトマップをアップロードする
XMLサイトマップとはWebサイトの階層構造やページの情報をクローラーに知らせるためのファイルです。XMLサイトマップを送信すると、素早くページの存在を知らせることができます。
XMLサイトマップは自分で作ることもできますが、「sitemap.xml Editor」のような外部サイトで自動生成するのが便利です。XMLサイトマップを作成したら、Googleサーチコンソールから以下の手順で送信します。
<手順>
- Googleサーチコンソールにログインし、「サイトマップ」をクリック
- 「新しいサイトマップの追加」の項目でサイトマップのURLを入力
- 「送信」をクリック
その後、「送信されたサイトマップ」の箇所を確認してください。ステータスが「成功しました」となっていればXMLサイトマップが問題なくアップロードされています。
なお、XMLサイトマップの送信は必須というわけではありません。というのも、新規ページであっても他のページとリンクでつなげられていればクローラーはリンクを辿ってページを検出するからです。
立ち上げたばかりでリンクが乏しい、画像・動画が多い、ページ数が非常に多いといったサイトの場合は、XMLサイトマップの送信を行っておくことをおすすめします。
URL検査ツールでインデックス登録のリクエストを送る
Googleサーチコンソールでインデックス登録のリクエストを行う方法です。つまり、Googleに「新しいページを公開したからインデックスしてください」と促す対策になります。
冒頭にGoogleサーチコンソールの「URL検査」でインデックス状況を調べる方法を紹介しましたが、インデックスされていなかった場合、そのまま同じページからリクエストを送信することが可能です。
あくまでリクエストなので、行ったら必ずインデックスされるわけではありません。とはいえ、検索エンジンにインデックス登録を促す対策としては、比較的効果の見込める方法です。
クローラービリティを向上させる
クローラーにとってのサイトの巡回しやすさ、ページの見つけやすさを「クローラビリティ」と言います。クローラビリティの低いサイトでは全てのページを把握してもらえないリスクがあります。
具体的には以下のような対策を行って、クローラビリティを高めましょう。
既にインデックスされているページからリンクを繋ぐ
基本的にクローラーは、サイト内に張り巡らされているリンクを辿って新たなページを検出します。そのため、すでにインデックスされているページからリンクを飛ばすことが、インデックスされるための近道となるのです。
まずは自社サイト内において、関連するページからページへの内部リンクを張り巡らせることを意識しましょう。新たなコンテンツを作る際は、常に書いている内容に関連するページが無いかを考え、適宜リンクを挿入していくことが有効です。
また、外部サイトやSNS等からのリンクも重要です。外部リンクを積極的に貼ってもらえるような良質なコンテンツづくりを心がけましょう。
Googleにインデックスされない原因の調査手順
Googleにインデックス登録されない場合の原因と対処法、事前にインデックス登録されやすくする方法について解説してきました。
ただ、そもそもどのように原因を調査すれば良いのでしょうか。特定のページURLがインデックスされない原因を調査したい場合は、サーチコンソール上で以下のフローで行いましょう。
①「URL検査」から検索窓に調査したいURLを入力します。
②すると、以下画像で矢印で示しているような、原因が表示されます。
以下の場合、noindex設定をしていることによって、インデックス登録されていないことが分かります。
※原因から該当URLを調査したい場合は、先述した「インデックス作成」>「ページ」をクリックし、画面を下にスクロールすると「ページがインデックスに登録されなかった理由」という項目で表示されます。
クロールされているのにインデックス登録されない場合
サーチコンソール上で「クロール済-インデックス未登録」や「検出-インデックス未登録」と表示されていることがあります。
これらは、クロールされているものの、インデックス登録されていない状態を意味します。本章では、両者の意味について解説します。
クロール済–インデックス未登録
「クロール済-インデックス未登録」はその名の通り、ページがクロールされているものの、現時点でインデックスされていないことを示しています。クロール済みだからといって必ずインデックス登録されるとは限らない点には注意が必要です。
今後、インデックス登録される可能性がありますが、登録されない可能性もあります。しばらく待ってもインデックス登録されない場合は、前述した7つの原因のいずれかでインデックスされていない可能性が考えられますので、ひとつずつ確認していきましょう。
「検出–インデックス未登録」との違い
「クロール済-インデックス未登録」と似た表現で「検出-インデックス未登録」があります。これは「クローラーがURLを検知したが、クロールは未だしていない」ということを意味します。「クロール済-インデックス未登録」よりも前の段階になります。
クローラーのリソースは有限です。そのためURL検知までは行われたが、クロールは後回しにされてしまったということになります。後回しにされてしまった原因は公表されないため明確に知ることはできませんが、やはり前述した7つの原因に該当している可能性が考えられます。またページの容量が重すぎて読み込みに時間がかかる場合も後回しにされる確率が高まりますので注意してください。
Googleにインデックスされるまでの時間
ページがインデックスされるまでの時間はどの程度かかるのでしょうか。結論からいえば、一律で決まっているわけではなく、サイトやページごとに異なります。
ただしGoogle公式の基準では、「サイトマップの送信やインデックス登録のリクエストを行ったあと、少なくとも1週間は待ってから問題の特定を始めるように」と言及されています。
インデックス登録をリクエストして当日や翌日にインデックスされていなくても慌てずに、1週間程度は待ちましょう。
まとめ
Googleがインデックスされない原因と対策を紹介しました。原因は以下の7つが考えられます。
- Googleからペナルティを受けている
- noindexを指定している
- robots.txtでクローラーをブロックしている
- canonicalタグでURLの正規化指定が間違っている
- サーバーエラーが起きている
- サイトの専門性が低い
- コンテンツページの質が低い
また、以下の通りインデックスされやすくする方法もありますので、併せて対応しましょう。
- XMLサイトマップをアップロードする
- URL検査ツールでインデックス登録のリクエストを送る
- クローラビリティを向上させる
- 既にインデックスされているページからリンクを繋ぐ
Googleサーチコンソールをうまく活用しながら原因を特定し、本来インデックスさせたいページがインデックスされていないという状況を無くしていきましょう。
詳しくはこちら
Keywordmapのカスタマーレビュー
ツールは使いやすく、コンサルタントのサポートが手厚い
良いポイント
初心者でも確実な成果につながります。サポートも充実!
良いポイント
機能が豊富で、ユーザーニーズ調査から競合分析まで使える
良いポイント