「クロール済み – インデックス未登録」が発生する原因や解決策を紹介
Webサイトの流入が減少している、検索順位が下がった、ページがインデックスされない、といったSEO上の問題は、Googleサーチコンソールでチェックできる「クロール済み – インデックス未登録」が原因の一つになっているかもしれません。
「クロール済み – インデックス未登録」状態は放置してはいけません。放置したままではサイトの評価が下がってしまう可能性があるからです。ただし、放置しても問題ない場合もあります。
「クロール済み – インデックス未登録」の解消にはSEOの知識が必要不可欠です。
そこで、本記事では発生要因から対応策、また放置しても問題ない場合について、初学者の方にも分かりやすく解説します。
また、Keywordmapを開発したCINCでは、ビッグデータを活用し、SEO戦略の策定から効果検証まで一気通貫で支援しています。SEOに詳しい人がいない、SEOの成果が出ないとお困りの方はお気軽にご相談ください。⇒CINCのSEOコンサルティング・SEO対策代行サービス
目次
「クロール済み – インデックス未登録」とはどのような状態なのか?
「クロール済み – インデックス未登録」とは、検索エンジン(Googleなど)のクローラー(検索エンジンのロボット)がWebページを訪れて内容を読み取った(クロールした)ものの、そのページが何らかの理由でインデックスされない、つまり検索結果に表示されないようになっている状態を指します。
「クロール済み – インデックス未登録」が発生する主な要因は以下です。
- ページにnoindexが設定されており、インデックス登録ができない状態になっている
- ページの品質が低く、検索エンジンがインデックスに追加する価値がないと判断している
- ウェブサイトのrobots.txtファイルがクローラーにインデックスを妨げる設定になっている
「クロール済み – インデックス未登録」の確認方法
なお、「クロール済み – インデックス未登録」はGoogleサーチコンソール上の表記です。以下の手順で確認することができます。
- Google Search Consoleを開く
- 左メニューの「ページ」を開く
- 「クロール済み – インデックス未登録」を開く
- 「クロール済み – インデックス未登録」の対象記事を確認する
Google Search Consoleを開く
左メニューの「ページ」を開く
「クロール済み – インデックス未登録」を開く
「クロール済み – インデックス未登録」の対象記事を確認する
「検出 – インデックス未登録」とは
「検出 – インデックス未登録」という表記で、Googleサーチコンソール上でアラートが出るケースもあります。これは、検索エンジンがWebページの存在を認識しているものの、まだクロールを行っていないか、クロールは行ったもののインデックスには追加していない状態を指します。つまり、そのページは検索結果に表示されません。
「検出 – インデックス未登録」の主な要因は以下です。
- 公開されたばかりのページのため、クローラーがまだ回遊できていない
- 対象ページへのリンクが少なく、クローラーがページを見つけにくくなっている
「クロール済み – インデックス未登録」と「検出 – インデックス未登録」の違い
2つの状態の主な違いは、クロールの有無にあります。「クロール済み – インデックス未登録」状態のページはクローラーが回遊済みで、Webページの内容が読み取られています。ただし、インデックスはされていません。
一方、「検出 – インデックス未登録」状態のページは、そもそもクローラーが未回遊である状態を指します。詳細にはGoogleがURL自体は認識(検出)しているものの、クロールするには至っていない状態です。
「クロール済み – インデックス未登録」と「検出 – インデックス未登録」、どちらもSEOにおいて重要な通知です。見逃さないようサイトの運用をしましょう。
「クロール済み – インデックス未登録」は放置してもいい?
「クロール済み – インデックス未登録」の状態のページを放置することは推奨されません。検索結果に表示されることがないので、それらのページに対して検索エンジン経由でのトラフィックが発生しない分、Webサイトのトラフィックが減少するからです。
また、「クロール済み – インデックス未登録」の原因がページの品質の低さにある場合、Webサイト全体に対して、検索順位が下がるといったようなSEO上の悪影響を与える可能性があります。そのため、原則として「クロール済み – インデックス未登録」の状態のページを放置しないほうがよいでしょう。
「クロール済み – インデックス未登録」の状態を改善できれば、大きなポテンシャルを発揮できる可能性があります。改善するにあたって、例えば以下のような対応策が考えられます。
- 不必要なnoindexが設定されている場合は解除する
- コンテンツの質を向上させる
- Webサイトの内部リンク構造を整備し、クローラーが巡回しやすいようにする
全ての「クロール済み – インデックス未登録」が問題にはならない
注意しなければならないのは、すべての「クロール済み – インデックス未登録」状態がSEO上の問題となるわけではない点です。例えば、一時的に作成したLPや、意図的にインデックスさせたくない管理ページなどは放置しても問題ないでしょう。
さらに深堀れば、「クロール済み – インデックス未登録」の常連であるURLの正規化を行っているパラメータ付URLやfeedが含まれるURLなど、一見するとWebサイトに悪影響を及ぼしていそうなページに見えますが、これらが順位を下げるような問題には到らないと考えられます。
特定の目的で作成されたページや、やむを得ず発生するようなURLに関しては、インデックス未登録のまま放置しても問題ない場合があります。ページによって「クロール済み – インデックス未登録」状態を放置するかどうかを判断することが重要です。
「クロール済み – インデックス未登録」が発生する原因
「クロール済み – インデックス未登録」状態は、それが発生する原因を潰しておくことで予防することができます。原因に注意を払い、適切なSEO対策を施すことで、「クロール済み – インデックス未登録」の状態を改善し、ウェブサイトの可視性とパフォーマンスを向上させることができます。
- コンテンツの品質が低い
- 重複したコンテンツが存在している
- 内部リンクが不足している
- noindexタグが設定されている
- メディア(画像)ページがクロールされている
コンテンツの品質が低い
検索エンジン(Google)はユーザーにとって価値のある、質の高い情報を提供したいと考えています。そうすることで結果的にGoogleの利益につながるからです。ユーザーにとって有益なプラットフォームになれば、利用ユーザー数が増加しGoogle側の広告収益も増加します。
そのため、ユーザーの検索意図(ニーズ)に合っていないページや虚偽の内容を伝えているページは、低品質コンテンツと判断されインデックスされにくくなります。少なくともページのコンテンツが低品質ではないことは、インデックスされるうえで必要不可欠です。
例えば以下が低品質なコンテンツに当たります。
低品質なコンテンツの例
- 外部ページからの情報を転載(コピペ)したようなコンテンツ
- サイトの主テーマとは全く関連性のないコンテンツ
- 過剰な広告、バナー等が掲載されている読みにくいコンテンツ
上記に該当するコンテンツがある場合、「Google ウェブ検索のスパムに関するポリシー」を参考にコンテンツの改善を行いましょう。
重複したコンテンツが存在している
重複コンテンツは、同一または酷似したコンテンツが複数のページ・URLに渡って存在することを指します。これにより検索エンジンがどのページをインデックスするべきか判断するのが難しくなり、結果的にインデックスされないページが発生することがあります。
重複コンテンツが存在すること自体に問題はなく、SEOに悪影響を与えることもありません。ただし、インデックス未登録を助長してトラフィックを毀損する可能性が考えられるので対処するようにしましょう。
対処法としては、canonicalの使用やリダイレクト設定などが有効です。もしくは、重複している不必要なページを削除し、正規ページのインデックスを促しましょう。
内部リンクが不足している
内部リンクが不足していると、クローラーが特定のページを見つけられなかったり、そのページがサイト内で重要ではないと判断されたりすることがあります。というのもクローラーはリンクをたどりながらページ間を巡回しているからです。そのため、リンクが全くつながれていないページへはクローラーが回遊しづらくなっています。
また、内部リンクの設置はコンテンツの品質を高めるうえで大切です。関連内容にアクセスしやすくしておくことで、ユーザーの利便性が向上し、かつ検索エンジンに対してコンテンツの豊富さを伝えることができるからです。サイトの専門性につながることになります。
コンテンツを作る際は、メインテーマに関連するコンテンツを内部リンクでつなぐようにしましょう内部リンクについてさらに詳しく知りたい方は以下の記事をチェックしてみてください。
noindexが設定されている
noindexは、検索エンジンに対して特定のページをインデックスから除外するようにする命令です。知らず知らずのうちにnoindexを設定してしまい、インデックスされなくなる場合があります。
クロールされているにも関わらずインデックスされない場合は、noindexが設定されているかどうかを確認するようにしましょう。
メディア(画像)ページがクロールされている
メディアファイルや画像だけのページは、テキストコンテンツが少ない、または全くないため、検索エンジンがそのページの価値を判断しにくくなることがあります。画像が主要なコンテンツであるページでは、alt属性を適切に使用してコンテンツの説明を加えることが重要です。
しかし、メディアページ自体が直接的な検索トラフィックを目的としていない場合は、インデックス未登録の状態であっても特に問題はありません。可能であれば、そもそもメディア(画像)ページにはnoindexを設定するようにしましょう。CMSにWordPressを使用しているのであれば、簡単にnoindexを設定することができます。
【基本編】「クロール済み – インデックス未登録」が発生したときの解決策
「クロール済み – インデックス未登録」状態は具体的にどう解決するのが良いのでしょうか。4つの解決策を解説します。
- 低品質なコンテンツを修正する
- 重複コンテンツを調整する
- noindexの確認を行う
- 投稿したばかりのコンテンツは時間をおき再確認する
低品質なコンテンツを修正する
コンテンツの品質を高めるためには、ユーザーのニーズと検索意図(疑問や知りたいこと、またその背景)にこたえる情報を充実させる必要があります。検索結果上の上位記事を参考にしながら、ユーザーの知りたいことは何か考え、それを分かりやすく伝えるようにコンテンツを制作しましょう。
特に以下の観点に注意し、コンテンツを作ることを意識しましょう。
- EEAT
- UI/UX
EEATとはSEOにおいて重要視される、「専門性 (Expertise)」「権威性(Authoritativeness)」「信頼性 (Trustworthiness)」「経験(Experience)」の頭文字を取った造語です。Googleでコンテンツを作る際には必要不可欠な考え方になります。
また、UI/UXも非常に重要です。UI/UXはユーザーインターフェース、およびユーザーエクスペリエンスを指し、簡単に言ってしまえばユーザーの利便性に大きな影響を与える指標です。ユーザーにとって利用しやすいページをGoogleは高く評価します。
以上2つの観点を徹底してコンテンツを作成しましょう。
重複コンテンツを調整する
重複コンテンツを発見した場合は、アクセスを集中させたい正規ページを決め、それ以外のページを修正するか削除するようにしましょう。
削除以外にアクセスを集中させる方法として、リダイレクトの設定、canonicalの設置が挙げられます。リダイレクトはアクセスしたページ(URL)から別のページ(URL)に転送する仕組みを指し、canonicalは、検索エンジンに対して対象のページを優先的に評価するようにリクエストする役割を持ちます。
重複する可能性が高いページにリダイレクトの処理を行ったり、canonicalを設置することで、検索エンジンにどのページをオリジナルとして扱うべきかを指示することができます。
リダイレクトやcanonicalに関しては以下の記事でさらに詳しく解説しています。気になる方はぜひチェックしてみてください。
noindexの確認を行う
意図せずにnoindexタグが設置されているページがないか確認し、意図せず設置されている場合は削除しましょう。noindexタグが外されることで、対象ページが検索エンジンによってクロールされ、品質に問題がなければ、インデックスされるようになります。
また、noindexが設定されているかどうかは以下の手順で簡単に確認することができます。
- 「Ctrl+U」でページのhtmlを確認する
- 「Ctrl+U」で「noindex」を検索する
- 「noindex」で設定されているメタタグが見つかれば、対象のページはnoindex状態になっている
投稿したばかりのコンテンツは時間をおき再確認する
インデックスさせたいページが公開されたばかりであれば、一度様子を見る時間を置きましょう。
検索エンジンは定期的にページをクロールし、インデックスを行っています。新しいコンテンツや大幅な修正が加えられたページは、クロールが回ってこない限り、インデックスや評価が行われません。検索エンジンのクロールを待機するため、公開後は少なくとも数週間程度は様子を見るようにしましょう。
Googleサーチコンソールの「URL検査」を活用すれば、インデックスを促すこともできます。できる限り早くインデックスさせたい場合、「URL検査」を活用してみましょう。
【応用編】特定のページで「クロール済み – インデックス未登録」が発生したときの対処法
ではこれまでの知識を活かして、特定の状況で「クロール済み – インデックス未登録」が発生した際の対処法について解説します。
- 「クロール済み – インデックス未登録」が大量に発生した場合
- feedページが「クロール済み – インデックス未登録」になった場合
「クロール済み – インデックス未登録」が大量に発生した場合
検索エンジンは、主にテキスト情報を基にコンテンツの価値を評価します。そのため、テキストコンテンツを含んでいない画像ページは、サーチコンソール上で「クロール済み – インデックス未登録」の状態になることがあります。
WordPressを使用している場合、メディアページや画像添付ファイルページが自動的に生成されることがあり、「クロール済み – インデックス未登録」が大量に発生する要因になり得ます。
上記の場合にはnoindexを活用しましょう。対象のページにnoindexを設定することで、検索エンジンに対象の画像ページをインデックスから除外するように命令できます。
なお、WordPressのプラグイン「AIOSEO(All in One SEO)」を使うと、一括で画像ページにnoindex設定を行えるため、非常に効率的です。下記がAIO SEOでnoindexを設定する方法なのでぜひ参考にしてください。
- AIO SEOをインストールする
- 「一般設定」から、タブで「アドバンスド」ページに進む
- 「投稿タイプ列」で「添付ファイル」のチェックを外す
feedページが「クロール済み – インデックス未登録」になった場合
feedページ(例えばRSSやAtomフィード)は検索結果に表示されることを目的としておらず、また、それを検索エンジン側も理解しているため、サーチコンソール上で「クロール済み – インデックス未登録」状態になったとしても大きな問題はありません。
ただ、「クロール済み – インデックス未登録」状態を放置し続けるよりも、改善した方が良いのは間違いないでしょう。対策としてはnoindexを設定することが一般的です。
しかし、feedページのようなXML形式のファイルにはmetaタグ(noindex)は設置できません。ここで活用するのが「X-Robots-Tag」です。
X-Robots-Tagは、HTTPレスポンスヘッダーを使用して、特定のウェブページに対するクローラーの挙動を指示するために使用されます。noindex値をX-Robots-Tagに設定することで、検索エンジンにそのページをインデックスに追加しないように指示することができます。
また、feedページ以外にも「クロール済み – インデックス未登録」状態を改善する必要がないページも存在します。
- ページネーションの2ページ目以降
- アップロードされているPDFファイル
- canonicalが付与されたパラメータ付きURL
基本的にユーザーに閲覧してもらうことを前提としていないページは、「クロール済み – インデックス未登録」に対処する必要がない場合が多いです。
まとめ:「クロール済み – インデックス未登録」は放置せずに適切な対応を
Googleサーチコンソールに表示される「クロール済み – インデックス未登録」状態は放置せずに以下の対処法を参考に、すぐに改善するようにしましょう。
- 低品質なコンテンツを修正する
- 重複コンテンツを調整する
- canonicalタグを設置する
- noindexタグの確認を行う
- 投稿したばかりのコンテンツは時間をおき再確認する
ただし、対象が以下のようなページの場合はすぐに対処する必要はありません。
- feedページ
- ページネーションの2ページ目以降
- アップロードされているPDFファイル
- canonicalが付与されたパラメータ付きURL
対処が必要か不必要か適切に判断し、サイト運用を行うようにしましょう。
Keywordmapのカスタマーレビュー
ツールは使いやすく、コンサルタントのサポートが手厚い
良いポイント
初心者でも確実な成果につながります。サポートも充実!
良いポイント
機能が豊富で、ユーザーニーズ調査から競合分析まで使える
良いポイント