robotsメタタグの記載ルールとクローラの指定方法

この記事では、robotsメタタグの記載方法、記載ルールや、botの指定方法についてお伝えします。

robotsメタタグの詳しい記載方法がわからない場合など、ご活用ください。

当記事の内容はGoogle検索セントラルの以下のページに作成しています。
robots メタタグの指定 | Google 検索セントラル | Google Developers

robotsメタタグの記載ルール

記載場所はheadセクション

robotsメタタグは、HTMLのheadセクションに記述します。

カンマ区切りでまとめて記載できる

カンマ区切りで入力することで、まとめて記載することができます。

<meta name=”robots” content=”noindex,nofollow,noarchive”>

大文字・小文字の区別なし

属性値の大文字、小文字は区別されません。

<meta name="robots" content="noindex" />
<meta name="ROBOTS" content="NOINDEX" />
<meta name="Robots" content="Noindex" />

この3つはすべて同じように解釈されます。

制限が強い方の設定を優先する

たとえば、以下のようにnoindexとindexの両方を同じページに記述した場合、Googleはnoindexとして設定します。

<meta name="robots" content="noindex" />
<meta name="robots" content="index" />

上記の場合、noindexとして認識されます。

同様に、

<meta name="robots" content="nofollow" />
<meta name="robots" content="follow" />

の場合も、nofollowとして処理されます。

また、後述するクローラの種類（Google検索ならGooglebot、bing検索ならbingbot）を指定する場合でも

<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">

となった場合、、すべてのクローラに対してnoindexを設定します。
（"googlebot"よりも、すべてのクローラを対象とする"robots"の方が制限が強いため）

クローラーの種類を指定できる

検索エンジンのクローラー

検索エンジンはGoogle以外にもいくつか種類があり、それぞれweb上をクローラーが巡回しています。
それぞれのクローラーに対して、個別に設定することができます。

<meta name="googlebot" content="noindex">

上記のように設定すると、googlebotのみクロールさせない設定となります。

Googleのクローラーはさらにいろんな種類がある

Googleのクローラーは「googlebot」だけでなくいろんな種類があり、細かく指定することができます。

その他のGoogleのクローラー一覧はこちらのページに記載されています。
Google クローラの概要（ユーザー エージェント） | Google 検索セントラル | Google Developers

SEOツールのクローラー

また、海外のSEOツールは独自にクローラーを巡回させており、ドメイン競合性などのデータを取得しています。

<meta name="semrushbot" content="noindex">

上記のように設定すると、SEOツール「Semrush」のSemrushBotのみクロールさせない設定となります。