大量の“クロール済み–インデックス未登録”を2本の301で解決する具体手順

Search Consoleの「ページのインデックス登録」を開くと、「クロール済み - インデックス未登録」の件数が何百、何千と並んでいることがあります。レポートが赤く見えて不安になりますが、件数が多いこと自体は、すぐに問題があるという意味ではありません。中には放っておいてよいURLも含まれています。

この記事では、まず「クロール済み - インデックス未登録」がどういう状態なのかを、Googleの説明に沿って整理します。そのうえで、放っておいてよい場合と直したほうがよい場合の見分け方、対象のURLの確かめ方、原因ごとの対処を順にご説明します。後半では、1.1万件以上あった「クロール済み - インデックス未登録」を、2本の301（WordPressのプラグイン「Redirection」に足した1本と、WordPress本体の自動転送1本）で整理した手順をご紹介します。固有のURLはダミーの表記に置き換えています。

「クロール済み - インデックス未登録」とは

Googleが検索結果にページを出すまでには、ページを見つける（検出）、ページを読みに来る（クロール）、検索結果に載せる候補として登録する（インデックス登録）、という段階があります。「クロール済み - インデックス未登録」は、Googleがページを読みには来たものの、登録はしなかった状態です。

Search Consoleのヘルプでは、次のように説明されています。

ページは Google によりクロールされましたが、インデックスには登録されていません。今後、インデックスに登録される可能性がありますが、登録されない可能性もあります。この URL のクロールのリクエストを再送信する必要はありません。

つまり、エラーで読めなかったわけではなく、Googleが読んだうえで「いまは登録しない」と判断した状態です。理由までは表示されないため、どのURLが入っているかを見て、こちらで原因を推し量ることになります。

「検出 - インデックス未登録」との違い

よく似た名前の項目に「検出 - インデックス未登録」があります。こちらはGoogleがURLの存在は知っているものの、まだ読みに来ていない状態です。

「検出」はまだ読まれていない段階、「クロール済み」は読まれたうえで見送られた段階です。対処の考え方が違うので、レポートではどちらの項目かを最初に見ます。

放っておいてよい場合と、直したほうがよい場合

Googleのヘルプでも、重複したURLなど正当な理由でインデックスに登録されないのは問題ないとされています。件数をゼロにすることを目標にする必要はありません。見るべきなのは、検索結果に出てほしいページが含まれているかどうかです。

また、件数が急に増えたときは、サイトの設定やプラグインの変更で、不要なURLが大量に作られるようになった可能性があります。増え始めた日の前後に何を変えたかを思い出すと、原因にたどり着きやすくなります。

対象のURLを確かめる手順

1. Search Consoleで対象のサイトを選び、左のメニューから「ページ」（ページのインデックス登録）を開きます
2. 下の「ページがインデックスに登録されなかった理由」の表から「クロール済み - インデックス未登録」をクリックします
3. URLの一覧が出ます。画面右上の「エクスポート」で一覧を書き出すと、表計算ソフトで並べ替えができます。表示・書き出しできるのは最大1,000件の例で、件数が多い場合は全件ではありません
4. URLを、パラメータ付き・投稿IDの形・フィード・ページ送り・記事やサービスのページ、のように種類ごとに分けます。どの種類がいちばん多いかで、手を付ける順番が決まります
5. 検索に出てほしいページが含まれていたら、上の欄に「URL検査」でそのURLを入れ、いまの状態を確かめます

一覧はリアルタイムではなく、数日から数週間遅れて更新されます。URL検査で「URL は Google に登録されています」と出るページが、一覧に残っていることもあります。その場合は、しばらく待てば一覧から外れます。

URL検査では「ユーザーが指定した正規URL」と「Googleが選択した正規URL」も表示されます。Googleが別のURLを正規URLとして選んでいる場合は、そのURLもURL検査で調べ、登録されているかを確かめます。そちらが登録されていれば、ページの内容は検索結果に出られる状態です。

よくある原因と対処の選び方

「クロール済み - インデックス未登録」に入るURLは、おおむね次の2つに分かれます。

• 同じページを別の形で指しているURL：パラメータ付き、投稿IDの形、wwwの有無、末尾のスラッシュの有無、httpとhttpsなど
• 中身のあるページだが、登録が見送られたもの：内容が薄い、似た記事がほかにもある、どこからもリンクされていない、など

前者は設定で整理でき、後者はページの中身を見直す必要があります。整理の方法には次のようなものがあり、URLの種類によって使い分けます。

検索に出てほしいページが入っていたときは、文章を直す前に次の順で確かめます。

1. URL検査で、いまの登録状態と「Googleが選択した正規URL」を見る
2. ページが普通に開けるか、誤って noindex が付いていないか、canonical が別のページを指していないかを見る
3. サイト内のほかのページからリンクされているかを見る
4. 設定に問題がなければ、似たページと内容が重なっていないか、そのページならではの情報が足りているかを見直す

正規URLの指定については カノニカルタグの解説、削除するか直すかの判断は 404エラーの修正か削除かの選び方、どこからもリンクされていないページについては 孤立ページ の記事で詳しくご説明しています。

WordPressでは、ブログ一覧の2ページ目以降（/blog/page/2/ など）が多く入ることがあります。Googleは、ページ送りの2ページ目以降を1ページ目へまとめず、それぞれに自分自身のURLを正規URLとして持たせるよう案内しています。本物のページ送りを1ページ目へ301で転送すると、奥の記事へのリンクがたどれなくなるので、ここは整理の対象にしません。

問題の整理：どのURLを削除・統合すべきか

ここからは、2本の301で整理した手順です。Redirectionに追加するルールは1本で、もう1本はWordPress本体の自動転送を使います。あるWordPressのサイトで「クロール済み - インデックス未登録」が1.1万件を超えていました。書き出した例のURLを種類ごとに分けると、目立ったのは次の2種類です。

どちらも、本来のURLと同じページを別の形で指しているURLです。1本ずつ直すには数が多すぎるため、パターンでまとめて本来のURLへ届くようにしました。転送する前に、代表的なURLをいくつか実際に開き、本来のページと同じ内容しか出ていないことを確かめておきます。

「Redirection」プラグインのインストールと初期設定

WordPressの管理画面で「プラグイン」→「新規追加」を開き、「Redirection」を検索してインストールし、有効化します。初回の設定画面では、次の2つをオンにしておくと後の確認が楽になります。

2本の301：Redirectionの1本とWordPressの自動転送

ポイントは次の3つです。

• 1本目は、「正規表現」をオンにして、? 以降のパラメータまで含めた形でソースURLを書きます（Redirectionの公式ドキュメントにも、\?amp= のようにパラメータまで正規表現で照合する例が載っています）。パラメータを照合から外す「クエリを無視」系の設定は選びません。保存したら、page= の付いた代表的なURLだけが転送され、転送してはいけないURL（/blog/・/blog/page/2/・記事ページ）は転送されないことを、実際に開いて確かめます
• 1本目の条件は、ブログ一覧のURL（/blog/）に page= が付いたものだけに当たります。/blog/page/2/ のような本物のページ送りや、/blog/記事名/ の記事ページには当たりません。この条件が使えるのは、page= の付いたURLがどれも /blog/ と同じ内容しか表示しないサイトだけです。サイトによっては page= を本物のページ送りに使っていて、その場合に転送すると2ページ目以降が読めなくなります。値や一緒に付いているパラメータが違うURLもいくつか開いて確かめ、別の一覧が出るURLは条件から外してください
• 2本目について、WordPressは通常、/?p=123 を開くと自動でその投稿の本来のURLへ301で転送します。まず実際に開いて、この自動の転送が働いているかを確かめます。働いていない場合は、プラグインやテーマの設定で止められていないかを先に調べます。Redirection で /?p= の形のまま転送するルールを作ると、転送が繰り返される（ループする）ことがあるので避けます

動作確認のステップ

1. キャッシュ系のプラグインやCDNを使っている場合は、キャッシュをすべて削除します
2. ブラウザのシークレットウィンドウで、エクスポートした一覧から代表的なURLを開きます（例：https://example.com/blog/?paged=212&cat=1&page=270 が https://example.com/blog/ へ、https://example.com/?p=29515 が https://example.com/blog/slug-sample/ へ移るか）
3. Chromeのデベロッパーツールの「Network」タブで、最初の応答が301になっていることを確かめます
4. 1回の転送で目的のURLに届いていれば成功です。301が2回以上続く場合は、Networkタブでそれぞれの転送元と転送先を見て、同じ転送を二重にしているルールがあれば整理します。httpからhttpsへの転送やwwwの有無をそろえる転送は必要な設定なので、原因を確かめないまま消したり移したりしないでください

転送が正しく動いているかは、ブログ一覧のページ送り（/blog/page/2/）など、転送してはいけないURLが200のまま開けることも合わせて確かめます。リダイレクトの設定全般については URLを変更したときのリダイレクト設定 の記事もご覧ください。

Search Console で効果を確かめる

転送を入れたあとは、Search Consoleで次の順に確かめます。

1. 「ページ」のレポートで「クロール済み - インデックス未登録」を開き、「修正を検証」を押します。検証は通常2週間ほどで終わりますが、それより長くかかることもあります
2. 件数は、GoogleがそれぞれのURLを読み直したときに少しずつ更新されます。検証を押さなくても減っていきますが、数が多いと数週間から数か月かかります
3. 代表的なURLをURL検査で調べ、「ページのリダイレクト」として扱われているかを見ます

Googleのヘルプにあるとおり、「クロール済み - インデックス未登録」のURLについて「インデックス登録をリクエスト」を1件ずつ送る必要はありません。リクエストはクロールを促すだけで、登録を約束するものではないためです。新しく公開したページや、中身を大きく書き直したページを早めに読んでほしいときに使います。

運用時のチェックリスト

ご自身での確認が難しい場合

件数が急に増えた理由が分からない場合や、検索に出てほしいページまで「クロール済み - インデックス未登録」に入っている場合は、blancにご相談いただくこともできます。アクセスの減少や順位の下落も起きている場合は、「アクセス減少・順位下落の原因調査」（33,000～66,000円（税込））で、Search Consoleとアクセス解析から原因を切り分け、直すべき箇所をご報告します。修正の作業は、内容によって別にお見積りします。インデックス未登録の整理だけをご相談いただく場合は、個別にお見積りします。

検索に出したいページそのものが見つからない場合は ホームページがGoogleで検索しても出てこないときの切り分け方、アクセスが急に減った場合は アクセスが急に減った・検索順位が落ちたときの確かめ方 もご覧ください。料金の一覧は 料金表 にまとめています。

よくある質問

まとめ

処理するURLの数が多いほど、パターンでまとめる効果は大きくなります。ルールを足すときは、まずテスト環境で1本作り、転送してはいけないURLまで巻き込んでいないかを確かめてから本番に入れてください。

参考リンク

• ページのインデックス登録レポート（Search Console ヘルプ）
• ページ分けと増分ページ読み込み（Google検索セントラル）
• Redirection 公式ドキュメント（英語）