パノプティックセグメンテーション【panoptic segmentation】

概要

パノプティックセグメンテーションとは、コンピュータによる画像認識の手法の一つで、画像中の各画素を意味的に分類しつつ、どの個体に属するか特定すること。セマンティックセグメンテーションとインスタンスセグメンテーションを統合した手法である。

画像を解析して画素単位で何が写っているか特定する技術を「画像セグメンテーション」という。このうち、「セマンティックセグメンテーション」（semantic segmentation）は画素が属する物体の種類（クラス）を識別するが、同一クラスの複数の物体は区別されない。一方、「インスタンスセグメンテーション」（instance segmentation）は同じクラスの個体（インスタンス）が複数ある場合にそれぞれ区別するが、背景や道路、空といった物体として定義しにくい領域の扱いが限定的である。

パノプティックセグメンテーションでは、画像内の対象を “thing” と “stuff” の二つの概念で捉える。車や人間、動物のように個数を数えることができる対象は thing として扱い、個体ごとに異なるラベルを付与して個別に分離する。一方、空や道路、草地、建物のように形状が不定形で個数を数えにくい対象は stuff として扱い、領域全体を一つのクラスとして塗り分ける。

技術的には、各画素に対して「どのクラスに属するか」という情報と、thingクラスの場合は「どの個体識別番号（インスタンス識別子）に属するか」という情報を同時に出力する。これにより、背景も含めた画像上の全画素に矛盾なくラベルが割り当てられ、隙間のない解析結果が得られる。同じ「車」というクラスであっても、一台一台が別の識別番号で区別され、同時にそれらが「道路」という背景の上に存在していることが一貫して表現される。