クロール 【crawl】 クローリング / crawling
概要
クロール（crawl）とは、這い回る、ハイハイする、徐行(する)などの意味を持つ英単語。一般の外来語としては、両手で交互に水をかいて進む泳法を指すことが多い。Webの分野では、ソフトウェアが自動的にインターネットを巡回し、様々なWebサイトからWebページの内容を収集・保存していく処理をクロールという。このような作業を行うソフトウェアを「クローラ」（crawler）、「ロボット」（robot）あるいは「ボット」（bot）、「スパイダー」（spider）などと呼ぶ。
クローラはあるWebページをダウンロードして内容を解析し、別のページへのハイパーリンクを発見すると、そのページを取り寄せて内容を解析する。この手順を繰り返し、インターネット上で公開されているサイトやページを次々に発見して文書や画像などのファイルを収集していく。
クロールは様々な目的で行われるが、検索エンジンがWeb上の情報を収集して検索可能にするために行うものが最も有名である。検索エンジン運営者は大量のコンピュータと回線を用いて世界中のWebサイトを日々クロールしており、集めた情報を一定の手順に従って解析・加工して索引付け（インデクシング）を行い、一般の利用者が任意の単語やフレーズで全文検索できるようにしている。
(2019.4.5更新)
共有ボタンをタップ