HTTPヘッダーにX-Robots-Tagを記載すればhtml以外のファイルでrobots制御できる

この記事では、X-Robots-Tagを使ったrobots制御の記載方法やメリットについてお伝えします。

.xmlや.pdfファイルなど、htmlページ以外でrobots制御を行うことができるので、社外秘のPDFファイルなどは設定しておきたい内容です。

ちゃんと設定しておかないと、秘匿ファイルがインデックスされちゃいます。

html以外のファイルでrobots制御する時に使える

X-Robots-Tag: noindex

htmlで書かれたページをnoindexやnofollowを設定したい場合は、head部分にrobotsメタタグを記載すれば設定できます。

しかし、xmlファイルやpdfファイルなどもクローラーは巡回しますので、xmlファイルやpdfファイルもインデックスされることがあります。
html以外でrobots制御する場合、httpヘッダーにX-Robots-Tagを記載することで、noindexやnofollowを設定することができます。

設定できるrobots制御

robots メタタグで使用できるディレクティブは、すべて X-Robots-Tag として指定することもできます。

参考:robots メタタグの指定 | Google 検索セントラル | Google Developers

noindexやnofollowだけでなく

  • noarchive(キャッシュに保存させない)
  • nosnippet(スニペットを表示させない)
  • noimageindex(画像検索でインデックスさせない)

などの設定ができます。

パワーポイントやPDFなどは画像検索でひっかかってしまいやすいので、秘匿内容の場合は設定しておきたいですね。

X-Robots-Tagの記述形式

ロボットを指定

X-Robots-Tag: googlebot: nofollow

googlebotのみnofollowとする

X-Robots-Tag: [ロボット]: [制御内容] のように、ロボットを指定することができます。

ロボットの種類にはgoogle以外にもbingなどの検索エンジンや、SemrushやahrefsなどのSEOツールのクローラーもあります。
詳細は以下の記事を参照してください。

組み合わせOK

X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST

上記のように、2行以上に続けて記載することができます。

カンマ区切りOK

X-Robots-Tag: otherbot: noindex, nofollow

上記のように、カンマ区切りで続けて記載することができます。

WPでの編集方法はテーマ編集かプラグイン

ワードプレスでHTTPヘッダーにX-Robots-Tagを記載したい場合、テーマファイルを編集する方法があります。

もしくは、プラグイン「HTTP Headers」を使うことでもhttpヘッダーの編集ができるので、テーマファイルを編集したくない方でも編集できます。

おすすめの記事