読み方：インストラクトジーピーティー

InstructGPT

InstructGPTとは？

米オープンAI（OpenAI）社が2022年に発表した大規模言語モデル（LLM）。GPT-3をベースに、人間の指示に沿った応答を生成できるよう追加学習を施したモデルで、AIチャットサービス「ChatGPT」や後継モデルの技術的な土台となった。

従来の言語モデルは、大量のテキストデータをもとに「次に来る単語を予測する」形で学習する。この方法では、文章を流暢に生成できる一方、利用者が「要約して」「翻訳して」と指示しても期待通りの応答が返ってこないことがある。事実と異なる情報を生成したり、差別的な表現を出力したりする問題も指摘されていた。

InstructGPTはこうした課題に対処するため、「RLHF」（人間のフィードバックによる強化学習）という手法を採用した。まず、お手本となる人間のスタッフ（アノテーター）が望ましい応答例を作成し、それをもとにモデルを微調整する。次に、モデルが生成した複数の応答を人間が比較、順位付けし、その評価結果から「どの応答がより適切か」を判定する報酬モデルを構築する。最後に、この報酬モデルを使いながら強化学習を繰り返し、人間にとって自然で有益な応答を生成できるよう本体モデルを調整していく。

この仕組みにより、質問への回答や要約、対話といった場面で、指示内容に即した応答が得られやすくなった。また、不適切な内容を出力する挙動を抑制できるため、安全性と実用性の両面で改善が図られている。13億パラメータのInstructGPTが1750億パラメータのGPT-3よりも人間の評価者に好まれる応答を出したという実験結果は、モデルの規模よりも学習方法の工夫が応答品質を左右することを示した。現在の対話型 AIサービスの多くはこの手法を取り入れており、InstructGPTはその方向性を実証した先行事例として知られている。