この記事では、robotsメタタグの記載方法、記載ルールや、botの指定方法についてお伝えします。

robotsメタタグの詳しい記載方法がわからない場合など、ご活用ください。

当記事の内容はGoogle検索セントラルの以下のページに作成しています。
robots メタタグの指定 | Google 検索セントラル | Google Developers

robotsメタタグの記載ルール

記載場所はheadセクション

robotsメタタグは、HTMLのheadセクションに記述します。

robotsメタタブはheadに記載

カンマ区切りでまとめて記載できる

カンマ区切りで入力することで、まとめて記載することができます。

<meta name=”robots” content=”noindex,nofollow,noarchive”>

大文字・小文字の区別なし

属性値の大文字、小文字は区別されません。

<meta name="robots" content="noindex" />
<meta name="ROBOTS" content="NOINDEX" />
<meta name="Robots" content="Noindex" />

この3つはすべて同じように解釈されます。

制限が強い方の設定を優先する

たとえば、以下のようにnoindexとindexの両方を同じページに記述した場合、Googleはnoindexとして設定します。

<meta name="robots" content="noindex" />
<meta name="robots" content="index" />

上記の場合、noindexとして認識されます。

同様に、

<meta name="robots" content="nofollow" />
<meta name="robots" content="follow" />

の場合も、nofollowとして処理されます。

また、後述するクローラの種類(Google検索ならGooglebot、bing検索ならbingbot)を指定する場合でも

<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">

となった場合、、すべてのクローラに対してnoindexを設定します。
("googlebot"よりも、すべてのクローラを対象とする"robots"の方が制限が強いため)

万が一の場合を考えて、より安全な方向に設定しているということですね。

クローラーの種類を指定できる

検索エンジンのクローラー

検索エンジンはGoogle以外にもいくつか種類があり、それぞれweb上をクローラーが巡回しています。
それぞれのクローラーに対して、個別に設定することができます。

googlebot 検索エンジンGoogleのbotに対して指定
bingbot 検索エンジンbingのbotに対して指定
Baiduspider 検索エンジンBauduのbotに対して指定
YandexBot 検索エンジンYandexのbotに対して指定
<meta name="googlebot" content="noindex">

上記のように設定すると、googlebotのみクロールさせない設定となります。

Googleのクローラーはさらにいろんな種類がある

Googleのクローラーは「googlebot」だけでなくいろんな種類があり、細かく指定することができます。

Googlebot-Image 画像用 Googlebot
Googlebot-News ニュース用 Googlebot
Googlebot-Video 動画用 Googlebot
APIs-Google Google API用のGooglebot

その他のGoogleのクローラー一覧はこちらのページに記載されています。
Google クローラの概要(ユーザー エージェント) | Google 検索セントラル | Google Developers

シンプルに"googlebot"と指定すれば、Googleのすべてのbot(画像やニュースなどを含む)のクロールを制御することができます。

SEOツールのクローラー

また、海外のSEOツールは独自にクローラーを巡回させており、ドメイン競合性などのデータを取得しています。

MJ12bot SEOツール「Majestic
SemrushBot SEOツール「Semrush
AhrefsBot SEOツール「Ahrefs
DotBot SEOツール「OpenSiteExplorer」(MOZ)
AppleBot SiriやSpotLight
<meta name="semrushbot" content="noindex">

上記のように設定すると、SEOツール「Semrush」のSemrushBotのみクロールさせない設定となります。

おすすめの記事