読み方：パーム

PaLM【Pathways Language Model】

概要

PaLMとは、米グーグル（Google）社が2022年に発表した大規模言語モデル（LLM）。5400億個という膨大なパラメータを持ち、同社の計算基盤である「Pathways」を活用して並列学習を行うことにより、高度な推論能力と多言語の処理能力を実現している。

PaLMはTransformerを基盤とする自己回帰型の言語モデルであり、大量のテキストデータから単語や文の生成規則を学習する。学習時には次のトークンを予測する目的関数が用いられ、文法的構造や語彙知識だけでなく、推論や計算、常識的判断に関する能力も内部表現として獲得する。従来の言語モデルと同様の枠組みを持ちながら、モデル規模と学習計算量が大幅に拡張されている。

従来のモデル学習では単一のアクセラレータ群を使用するのが一般的だったが、PaLMでは「Pathways」と名付けられた大規模学習インフラを採用している。これは同社が開発したTPU（Tensor Processing Unit）という並列演算プロセッサを数千基という大きな単位で連携させることができるシステムで、単一のモデルを多数のアクセラレータにまたがって柔軟に配置し、計算を並列化できる。

PaLMは自然言語処理の多岐にわたるタスクにおいて高い性能を示した。特に、文脈を理解して論理的に問題を解く「推論能力」が従来モデル比で飛躍的に向上しており、ジョークの解説や数式の証明、複雑なコードの生成といった処理が新たに可能となった。また、少数の例示を与えるだけで新しいタスクに適応する「Few-shot学習」にも高度に適応し、利用者の工夫次第で様々なタスクを実行させることができるようになった。