X-Robots-Tag

概要

X-Robots-Tagとは、HTTPヘッダのフィールド(項目)の一つで、検索エンジンなどが運用するコンテンツ収集システム(ボット/クローラー)に対する要請を記述するためのもの。正式な規格には含まれないが事実上の標準として普及している。

Web 検索サービスなどを運用する事業者は、インターネット上に公開されているWeb コンテンツを収集して索引付けするため、自動的にWebサイト間を移動しながらWebページや画像ファイルなどをダウンロードしていく収集システムを運用しており、ロボットを略した「ボット」、あるいは「クローラー」などと呼ばれる。

サイト管理者は、HTMLファイルのmeta要素を用いて、検索サービスにおけるそのページの扱いについての希望（強制力はない）を記述することができる。例えば、head要素の中に <"meta name="robots" content="noindex"> のように記述しておくと、そのページを索引に取り込まないでほしい（検索結果に表示しないでほしい）という希望を伝えることができる。

HTMLファイル以外の画像ファイルやPDFファイルなどではHTMLタグをコンテンツに含めることができないため、meta要素による希望の伝達ができないが、X-Robots-Tagを用いることでHTTPヘッダ中に同様の記述を含めることができ、HTMLファイル以外の扱いも要請することができる。HTMLファイルに適用しても構わない。

構文は「X-Robots-Tag: 要請内容」で、「noindex」ならば検索結果に表示しない、「nofollow」ならばコンテンツに含まれる他のファイルへのリンクを辿らない、「noarchive」ならば検索サービス側にデータの複製（キャッシュ）を残さない、といった希望を伝達することができる。「noindex,noarchive」のようにカンマ区切りで複数の値を並べることもできる。