robots.txt
概要
Webクローラーは、Web検索エンジンや広告配信サービスなどがインターネット上のWebページを自動的に巡回し、ページの内容を収集するプログラムである。収集した情報は検索インデックスや広告ターゲティングなどに利用される。
Webサイトを構成するページの中には、管理画面や重複コンテンツ、開発中のページなど、クローラーに巡回させる必要のない領域が存在することがある。robots.txtにそのようなページやディレクトリを指定することで、アクセスを控えるよう要請することができる。
ただし、robots.txtはあくまでクローラーの運営元への要請であり、強制力はない。主要な検索エンジンのクローラーは記述を尊重することが多いが、悪意あるクローラーは無視することがある。機密情報を取得されないよう保護するといった用途には向いておらず、認証やアクセス制限など別の手段を用いる必要がある。
配置場所と記述形式
robots.txtはサイトの最上位階層であるルートディレクトリに配置しなければならない。サイトのトップが「https://www.example.jp/」であれば「https://www.example.jp/robots.txt」に置く。「https://shop.example.jp/」のようなサブドメインに独自のrobots.txtを設置することは可能だが、「https://www.example.jp/about/」のようなサブディレクトリへの配置は無効となる。
記述形式は、「User-agent:」フィールドでクローラー名（ユーザーエージェント名）を指定し、「Disallow:」でアクセスを禁じるパスを、「Allow:」で許可するパスを記述する。クローラー名に「*」を指定するとすべてのクローラーが対象となる。パスの指定は先頭一致で評価されるため、「/admin/」と記述すれば「/admin/ 以下のすべて」を意味する。
ワイルドカード「*」や末尾一致を表す「$」も使用できる。例えば、「/img/*.png」とすれば「/img/」ディレクトリ内のすべてのPNGファイルが対象となる。一つの User-agent: に複数の Disallow: や Allow: を記述したり、複数の User-agent: とルールのセットをまとめて定義することも可能で、「Sitemap:」フィールドでXMLサイトマップの場所をクローラーに伝えることもできる。
metaタグによる制御
robots.txtと同様のクローラー制御は、HTMLのhead要素に「<meta name="robots" content="noindex">」のようにmetaタグで記述する方法でも行える。「noindex」で検索結果への登録を、「nofollow」でページ内リンクの追跡を拒否するよう要請できる。特定のクローラーのみを対象にする場合はname属性の値を「Googlebot」のようにクローラー名に変更する。ページ数が多いサイトでは、robots.txtがディレクトリ単位の制御に適しているのに対し、metaタグはページ単位での細かな制御に向いており、用途に応じて使い分けられる。
共有ボタンをタップ