URLがrobots.txtによってブロックされています…というエラーの原因と解決方法

当サイトは広告リンクを含みます。

新設したばかりの当ブログをGoogle Search Consoleへと追加したところ何やらエラーの警告が発生してしまいました。ブログ記事がインデックスしないという状況です。

 

警告:URLがrobots.txtによってブロックされています。(サイトマップはrobots.txtによってブロックされているURLが含まれています。)

 

こちらのエラーの原因や解決方法をまとめました。

 

もくじ

Google Search Consoleについて

ブログ運営をしている人ならば知らない人はいないであろうGoogle Search Consoleについて軽く説明します。(旧名はGoogle ウェブマスターツール)

Search Consoleはグーグル検索における影響の大きいツールなのでブログを運営しているのなら「必ず」と言っても良いレベルで活用するツールです。

主に検索アナリティクスによるデータ分析やインデックス状況の確認などに利用します。

 

検索アナリティクスについて

検索アナリティクスでは大きく分けてクリック数・表示回数・CTR・検索順位のデータ確認をすることができます。

  • 『クリック数』→検索結果からクリックされた回数
  • 『表示回数』→検索結果に表示された回数
  • 『CRT』→上の2項目から算出したクリック率
  • 『検索順位』→検索結果で表示されている順位

キーワードごとに自分のブログ記事の検索データ分析をすることができます。

これによって自分のブログが『どんなキーワードで検索されているか』『狙いのキーワード検索結果で何番目に表示されているか』などを知ることができるので、キーワード選定の改善に繋げて検索の上位表示を狙うこともできる。

闇雲に記事を増やすだけでなく過去記事の改善点などを探してみるのも面白いもの。

これらのデータ分析に必須なのがSearch Consoleです。

 

インデックスとクローラーについて

ブログ記事はインデックスされることで初めてグーグルの検索結果へと表示されるようになるため、インデックス状況は定期的にチェックしておきたいもの。もしもインデックスされていなければ検索流入に大きな影響が出てしまいPV数の低下などに繋がります。

基本的にはクローラーという巡回ロボットがウェブ上を定期的に巡回してコンテンツを認識しています。クローラーに正確にサイト巡回してもらうためにSearch ConsoleではXMLサイトマップを追加しておきます。

ブログ記事はインデックスされなければ意味のないものです。

 

インデックスされていないコンテンツは検索結果の対象にならない。クローラーにコンテンツを見つけてもらうためにSearch ConsoleでXMLサイトマップを追加しておく。

 

例えばブログ記事を書いて投稿してもクローラーが巡回してこなければすぐにはインデックスされませんが、Search Consoleの『Fetch as Google』からインデックスのリクエストを送ることも可能です。

「投稿したばかりのブログ記事をなるべく早くインデックスさせたい」という場合はリクエストしてしまうのも手です。

 

重大な問題の原因と解決方法

Search Consoleエラー

新設したブログのXMLサイトマップをSearch Consoleへと登録すると何やら『重大な問題が発見されました。』と表示されてしまいました。

エラー内容を確認してみると、

Search Consoleエラー

エラー内容

この何らかのブロックによりブログ記事がインデックスされない状態になっていた。記事がインデックスされなければ検索流入が無くてアクセスが伸びないので致命的なエラー。文字通り重大な問題です。

 

しかしエラーについてはググってみるとすぐに原因が判明。とても簡単なことでした。

ブログを新設するにあたって “ある1つの設定” をしていたことが原因でした。

 

原因と解決方法

ブログを新設する際にやったことのある人は多いと思います。

その “ある1つの設定” とは、

 

『検索エンジンがサイトをインデックスしないようにする』というWordPressの表示設定。

 

この設定をオンにすることでサイト全体をインデックスされないようにできる。

なぜこの設定をオンにしているのかというと、新設したブログはまだ『記事のない空っぽの状態』なので検索結果に表示させる必要がない。ある程度コンテンツを充実させてからウェブ上に公開したいという場合にこの設定をオンにすることになる。作り途中のブログをまだ見られたくないよってことですね。

私もその設定をオンにしていたままだったのです。それだけです。

 

インデックスされない設定

▲WordPressのサイドメニューから『設定 > 表示設定 > 検索エンジンでの表示』のチェックを外すだけでいいです。

 

注意点として、このチェックを外したからといってもすぐには反映されません。クロールされてインデックスされるまでには数日はかかると見ておいて下さい。念のためにFetch as Googleからインデックスのリクエストをしておくと良いかもしれません。

 

私の場合はチェックを外した翌日には無事にインデックスされて、Search Consoleからも『警告』が消えていました。

 

まとめ

初歩的なところを見逃していましたね。

もしも同じエラー内容で困ってこの記事に辿り着いた方はWordPressの表示設定を見直してみて下さい。簡単なところを見逃しているかもしれません。

もくじ