インジェスト【ingest】

概要

インジェストとは、外部にあるデータやコンテンツをシステムに取り込み、利用できる状態にする処理のこと。データ分析、動画配信、検索システム、AIなど様々な分野で用いられ、具体的な対象や方法は分野によって異なる。

外部の情報源（ソース）からデータを受け取り、システム内部で扱える状態にして格納するまでの一連の工程を指す。取り込む対象として、文字情報（テキスト）、画像、音声、動画、センサーデータなどがある。受け取り方はファイルのアップロード、API経由の転送、ストリーミングによるリアルタイム受信など、用途に応じて異なる。

単なるファイルのコピーやデータ転送とは異なり、データ形式の変換、文字コードの統一、重複除去、メタデータの付与といった処理が伴うことが多い。動画制作の現場では、カメラから出力された未編集の映像データを編集システムに読み込ませ、編集用のファイル形式へ変換しながら登録する一連の作業を指す。

取り込みの方式は大きく二種類に分かれる。データが発生するたびに即座に処理する「ストリーミングインジェスト」は、監視システムやリアルタイム分析などで用いられる。一方、一定間隔でデータをまとめて処理する「バッチインジェスト」は、日次集計など定期的な業務に向いている。

現代のITシステムでは、様々な形式のデータが大量かつ継続的に発生するため、入り口の段階で適切に受け入れる仕組みが必要となる。インジェストの段階でデータの破損を検知したり不要な情報を除外したりすることで、後続の処理や分析の効率を高められる。

ビッグデータやクラウドサービスの普及を背景に、データの収集から蓄積・分析まで連続的に処理する仕組み（パイプライン）の入口としての「データインジェスト」が広く認識されるようになった。近年ではAI分野でも重要な概念となっており、大規模言語モデル（LLM）に文書やデータを読み込ませてRAG（検索拡張生成）を構成する際、その読み込みフェーズを「インジェスト」と呼ぶ用法が定着しつつある。