読み方：ナーフ

NeRF【Neural Radiance Fields】

概要

NeRFとは、複数視点から撮影された画像を用いて、三次元空間内の物体やシーンを連続的な関数として表現し、新しい視点からの画像を生成する深層学習モデル。ニューラルネットワークを用いて空間内の密度と色を表現することで、自由な視点から高精細な画像を生成することができる。

ある地点の座標と視線の方向をニューラルネットワークに入力すると、その点における体積密度と色が出力されるように学習する。この関数を空間全体にわたって定義することで、シーン全体を明示的なボクセルやポリゴンで表現する代わりに、ネットワークの重み自体に三次元的なシーン情報を凝縮して記憶させる。

画像生成時には、仮想的なカメラから放たれる光線に沿ってこれらの情報を積分することで、学習データには存在しない角度からの画像を数学的な整合性を保ちながら作り出すことができる。

学習は、既知のカメラ位置と姿勢を持つ複数の入力画像を用いて行われる。各画素に対応する光線上の点で予測された色と密度から再構成された画像が、元の入力画像と一致するようにパラメータを調整していく。この過程で、視点に依存する反射や遮蔽関係を含む三次元的な構造が間接的に学習される。

従来の三次元復元技術に比べ、複雑な形状や光の反射、透過といった現象を極めてリアルに再現できるとされる。特に、透明な物体や細かい毛髪、光沢のある表面など、従来のメッシュ構造では表現が困難だった対象に対しても、滑らかな質感と正確な視差を伴った画像を生成することができる。自由視点映像の生成や文化財のデジタルアーカイブなどへの応用が進められている。