スクレイピング 【scraping】
入手したひとまとまりのデータを解析し、不要な部分を削ったり、必要な部分だけを取り出したり、一部を置き換えたり、並べ替えたりして、目的に適う形式に整形することをスクレイピングという。
特に、人間が閲覧するために作成された文書ファイルなどから必要なデータなどを抜き出し、ソフトウェアでの自動処理に適したデータ形式で保存し直すことを指すことが多い。
Webスクレイピング (ウェブスクレイピング)
WebページやWeb上で公開されているデータについて、ソフトウェアで処理しやすい形に整形したり必要な部分を抽出することをWebスクレイピングという。
必要なWebサイトやページを選んで巡回し、収集したWebページを解析して必要なデータを抽出、CSVファイルなど汎用的なデータ形式に整形・変換して保存する。
この過程の多くはソフトウェアによって自動化されるが、Webページの記述形式はサイトごとの個別性が高いため、対象や目的に合わせて個別にプログラムを開発しなければならないことも多い。
(2020.5.3更新)
関連用語
他の辞典による解説 (外部サイト)
この記事を参照している文書など (外部サイト)
- 立教大学観光学部紀要 22号「ビッグデータ時代における観光行動研究の現状と課題 ── 地理学からの検討を中心に」(PDFファイル)にて引用 (2020年3月)