ディープWeb 【deep web】 インビジブルWeb / invisible web / 深層Web
概要
ディープWeb(deep web)とは、Web上の情報のうち、一般的なWeb検索エンジンからは到達できないもののこと。到達可能な「表層Web」(surface web/サーフェスウェブ)と対比される。インターネット上でアクセス可能な場所にあるWebページなどのうち、人間には閲覧することができるが、検索エンジンの巡回プログラム(クローラー/ロボット)が到達することができない形態の情報がある。このような外部から検索を通じてたどり着くことが困難な情報資源をまとめてディープWebと呼ぶ。
例えば、人間が検索キーワードを打ち込んで内容を引き出すようなデータベースサービスは、人間にとっては必要なキーワードを入力して閲覧することが可能だが、クローラーなどがリンクを辿って内容を網羅的に収集・登録(インデックス化)することはできない。
このような自動収集の難しい情報としては、スクリプトなどの実行が必要なページ、会員登録や利用者認証、料金の支払いなどを行わないと閲覧できないページ、クローラーによるアクセスを遮断しているサイトなどがある。検索エンジン側の技術開発により、以前はディープWebだったものが表層に現れる場合もある。
Web技術により提供される情報には組織内のイントラネット上のWebサイトなどもあるが、これはインターネットを通じてアクセスできないためディープWebとは区別される。また、TorなどのP2Pネットワークを経由しなければアクセスできないWebサイト群は「ダークWeb」(dark web)と呼ばれ、ディープWebの一部を構成する。
(2022.6.10更新)