HTTPヘッダーにX-Robots-Tagを記載すればhtml以外のファイルでrobots制御できる

2021年11月21日 2021年11月21日

この記事では、X-Robots-Tagを使ったrobots制御の記載方法やメリットについてお伝えします。

.xmlや.pdfファイルなど、htmlページ以外でrobots制御を行うことができるので、社外秘のPDFファイルなどは設定しておきたい内容です。

ちゃんと設定しておかないと、秘匿ファイルがインデックスされちゃいます。

html以外のファイルでrobots制御する時に使える

X-Robots-Tag: noindex

htmlで書かれたページをnoindexやnofollowを設定したい場合は、head部分にrobotsメタタグを記載すれば設定できます。

しかし、xmlファイルやpdfファイルなどもクローラーは巡回しますので、xmlファイルやpdfファイルもインデックスされることがあります。
html以外でrobots制御する場合、httpヘッダーにX-Robots-Tagを記載することで、noindexやnofollowを設定することができます。

robots メタタグで使用できるディレクティブは、すべて X-Robots-Tag として指定することもできます。

noindexやnofollowだけでなく

などの設定ができます。

パワーポイントやPDFなどは画像検索でひっかかってしまいやすいので、秘匿内容の場合は設定しておきたいですね。

X-Robots-Tag: googlebot: nofollow

googlebotのみnofollowとする

X-Robots-Tag: [ロボット]: [制御内容] のように、ロボットを指定することができます。

ロボットの種類にはgoogle以外にもbingなどの検索エンジンや、SemrushやahrefsなどのSEOツールのクローラーもあります。
詳細は以下の記事を参照してください。

X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST

上記のように、2行以上に続けて記載することができます。

X-Robots-Tag: otherbot: noindex, nofollow

上記のように、カンマ区切りで続けて記載することができます。

ワードプレスでHTTPヘッダーにX-Robots-Tagを記載したい場合、テーマファイルを編集する方法があります。

もしくは、プラグイン「HTTP Headers」を使うことでもhttpヘッダーの編集ができるので、テーマファイルを編集したくない方でも編集できます。

この記事を書いた人

この記事が「参考になった！」という方は、上の「いいねボタン」のクリックをお願いします。

Webマーケティング・SEOに関するご相談を受け付けております。
こちらのリンクからご気軽にどうぞ。