Lustre

概要

Lustreとは、大規模な並列分散ファイルシステムを実現するオープンソースソフトウェア。現在は米DDN(DataDirect Networks)社が開発を主導している。

複数のサーバを並列に稼働させ、ファイルを分散して記録する。数十ペタバイト（PB）を超えるような大規模なデータ管理用途でも利用でき、スーパーコンピュータなどのHPC（High Performance Computing）分野で広く利用されている。

ファイルやディレクトリについての情報（メタデータ）を分散管理するメタデータサーバ（MDS）、メタデータを格納するメタデータターゲット（MDT）がファイルシステムの管理を行い、ファイル自体の読み書きを管理するオブジェクトストレージサーバ（OSS）、ファイルデータを格納するオブジェクトストレージターゲット（OST）と協調して動作する。

MDTやODTなどのストレージ管理には基盤となるファイルシステムとしてext4またはZFSが用いられる。理論上の最大ボリュームサイズは16エクサバイト（EB）、最大ファイルサイズは32ペタバイト（ext4使用の場合）または16エクサバイト（ZFS使用の場合）で、MDTあたり40億ファイルを格納でき、単一のファイルシステムを最大128基のMDTで構成することができる。

2003年に初版が公開され、GPL（GNU General Public License）に基づいてオープンソースソフトウェアとして配布されている。初期の開発チームはクラスターファイルシステムズ（Cluster File Systems）社を設立して開発やサポートにあたっていた。

その後、同社は買収や分離など紆余曲折を経て、現在は米DDN社のWhamcloud部門が商業展開を行っている。2018年には大手クラウドサービスのAmazon Web Services（AWS）が「Amazon FSx for Lustre」というフルマネージ型のLustreファイル管理サービスを開始している。

(2023.6.8更新)