robotsメタタグの記載ルールとクローラの指定方法

この記事では、robotsメタタグの記載方法、記載ルールや、botの指定方法についてお伝えします。

robotsメタタグの詳しい記載方法がわからない場合など、ご活用ください。

当記事の内容はGoogle検索セントラルの以下のページに作成しています。
robots メタタグの指定 | Google 検索セントラル | Google Developers

robotsメタタグの記載ルール

記載場所はheadセクション

robotsメタタグは、HTMLのheadセクションに記述します。

カンマ区切りでまとめて記載できる

カンマ区切りで入力することで、まとめて記載することができます。

大文字・小文字の区別なし

属性値の大文字、小文字は区別されません。

この3つはすべて同じように解釈されます。

制限が強い方の設定を優先する

たとえば、以下のようにnoindexとindexの両方を同じページに記述した場合、Googleはnoindexとして設定します。

上記の場合、noindexとして認識されます。

同様に、

の場合も、nofollowとして処理されます。

また、後述するクローラの種類（Google検索ならGooglebot、bing検索ならbingbot）を指定する場合でも

となった場合、、すべてのクローラに対してnoindexを設定します。
（"googlebot"よりも、すべてのクローラを対象とする"robots"の方が制限が強いため）

万が一の場合を考えて、より安全な方向に設定しているということですね。

クローラーの種類を指定できる

検索エンジンのクローラー

検索エンジンはGoogle以外にもいくつか種類があり、それぞれweb上をクローラーが巡回しています。
それぞれのクローラーに対して、個別に設定することができます。

上記のように設定すると、googlebotのみクロールさせない設定となります。

Googleのクローラーはさらにいろんな種類がある

Googleのクローラーは「googlebot」だけでなくいろんな種類があり、細かく指定することができます。

その他のGoogleのクローラー一覧はこちらのページに記載されています。
Google クローラの概要（ユーザー エージェント） | Google 検索セントラル | Google Developers

シンプルに"googlebot"と指定すれば、Googleのすべてのbot（画像やニュースなどを含む）のクロールを制御することができます。

SEOツールのクローラー

また、海外のSEOツールは独自にクローラーを巡回させており、ドメイン競合性などのデータを取得しています。

上記のように設定すると、SEOツール「Semrush」のSemrushBotのみクロールさせない設定となります。