読み方 : エムナスネット
MnasNet
概要

従来のニューラルネットワーク設計では、人手による試行錯誤で層構成やハイパーパラメータを決定することが一般的だったが、MnasNetでは「ニューラルアーキテクチャ探索」(NAS:Neural Architecture Search)と呼ばれる機械学習による探索プロセスを用いて、限られた計算資源のシステムに適したネットワークの構造を決定した。
モデルの設計過程では、計算上の理論的な指標だけでなく、実際の端末上での実行速度を直接的な評価指標に取り入れている。通常のNASでは精度や計算量など一般的な指標に基づいて最適化を進めるが、MnasNetでは特定のハードウェア上での実際の動作速度を報酬としてフィードバックする強化学習を行うことで、精度を維持しながら高速に動作する構造を見出すことができた。
ネットワークの構造面では、層ごとに異なる構造を許容する「階層的探索空間」を導入し、初期層と深い層でそれぞれ最適な処理を選択することが可能になった。計算コストを抑えつつ高い表現力を発揮する「深さ単位分離可能畳み込み」(Depthwise Separable Convolution)をベースに、層ごとに最適なカーネルサイズやチャネル数を自動的に調整している。