最近、サブディレクトリにワードプレスを設置してメディア運営するサイトが増えていますが、ほとんどのサイトでrobots.txtのサイトマップの記載漏れが目立ちます。
サブディレクトリにワードプレスを設置する場合は、robots.txtにはサブディレクトリのサイトマップのURLを記載する必要があります。
記載しなくてもページは問題なくインデックスされます。
しかし、なかなかインデックスされなかった記事が、サイトマップの位置を追記したことで大幅にインデックス数を伸ばしたこともあります。
こちらの記事では、サブディレクトリでワードプレスを運用する場合のrobots.txtの記載方法をお伝えします。
目次
robots.txtのルールや特徴
robots.txtは、1つのドメインに対して1つしか設置できません。
robots.txt ファイルを作成して送信する | Google 検索セントラル
robots.txtについての概要はこちらの記事でもご紹介しています。
robots.txtのチェック方法
ルートドメインのURLに、robots.txtをつけてブラウザでアクセスしてみましょう。
当サイトの場合は
https://bluegoat.jp/robots.txt
になります。
また、旧サーチコンソールのツールからもチェックすることができます。
サブディレクトリのワードプレスとサイトマップ
ルートドメインとは別のサイトマップがある
サブディレクトリのワードプレスを設置する場合は、
- ルートドメインのサイトマップ
- サブディレクトリのサイトマップ
の2つのサイトマップが存在しています。
1.のサイトマップはrobots.txtに記載していても、2.のサイトマップが記載されていないケースが目立ちます。
robots.txt記載漏れの問題点
robots.txtにサイトマップを記載しなくても、大きな問題はありません。
サーチコンソールからサイトマップを送信したり、URL検査を行っていれば、クローラーは巡回してくれます。
しかし、ドメインが弱いサイト立ち上げ当初は、クロールがなかなか巡回してくれません。
サブディレクトリにメディアサイトを運営している場合は、この記載漏れによる影響は大きいでしょう。
実際、私のコンサルしているメディア様でも、サイトマップをrobots.txtに記載してから一気にインデックス数が伸びた事例があります。
（「クロール済み-インデックス未登録」も一気に増えましたが・・・）
「記事を書いてもなかなかインデックスされない」という状況の方は、クローラを呼び込むために、サイトマップの位置をrobots.txtに記載した方がよいでしょう。
サイトマップの記載方法
robots.txtは自動生成される
ルートドメインがワードプレスの場合は、robots.txtはアクセスした時に自動で生成される仕組みになっています。
そのため、FTPツールなどでサーバーの中を確認しても、robots.txtのファイルを見つけることができません。
基本的にワードプレスで運用する場合はこの自動生成robots.txt（仮想ファイル）で問題ないのですが、サブディレクトリにワードプレスを設置する場合は、手動でrobots.txtを作成する必要があります。
手動でrobots.txtを作成した場合、手動作成した方のrobots.txtの設定が適用されます。
手動でrobots.txtを作成する
ワードプレスの場合は、public_htmlの直下に、robots.txtファイルを作成します。
作成時のファイル形式などの細かいルールはこちらの記事を参考にしてください。
robots.txt（ロボッツテキスト）のSEO効果とチェック方法
作成したrobots.txtに、サブディレクトリのワードプレスのサイトマップのURLを追記します。
Sitemap: https://example.com/blog/sitemap.xml当サイトの作成例
当サイト「デジマ便利帳」場合は、サブディレクトリ「blog」にワードプレスをインストールしていますので、こちらのような記載になります。
User-agent: *
Disallow: /wp-admin/
Disallow: /blog/wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /blog/wp-admin/admin-ajax.php
Sitemap: https://bluegoat.jp/blog/sitemap.xml
Sitemap: https://bluegoat.jp/sitemap.xmlsitemap.xmlとwp-sitemap.xml
サイトによってはsitemap.xmlとwp-sitemap.xmlの2種類のサイトマップが存在している方がいると思います。
wp-がつく方は、ワードプレスが自動的に生成している簡易的なサイトマップです。
プラグインなどで独自にサイトマップを作成している方にとっては不要なので、wp-sitemap.xml → sitemap.xmlに301リダイレクトするか、robots.txtから記載を削除してしまっても良いでしょう。
