インストラクションチューニング【instruction tuning】

インストラクションチューニングとは？

大規模言語モデル（LLM）に対して、人間からの指示に的確に応答する能力を身につけさせるための追加学習手法。事前学習済みのモデルに「指示文と回答」のペアを大量に学習させることで、利用者の意図を汲んだ出力ができるよう調整する。

大規模言語モデルは、Webサイトや書籍などから取り込んだ膨大な文字情報を学習することで、文章の続きを予測する能力を獲得する。しかしこの段階では、「〇〇を要約して」「英語に翻訳して」といった指示を与えても、期待通りに応じるとは限らない。指示の意図を汲み取ることができず、文章の続きを勝手に書き始めたり、質問に別の質問で返したりするなど、勝手な振る舞いをしはじめる場合がある。

この問題を解消するのがインストラクションチューニングである。指示文とそれに対する適切な回答を対にしたデータセットを用意し、モデルに追加で学習させる。要約や翻訳、プログラムコード生成など形式の異なる多様な指示を学習させることで、モデルは単なる文章補完から脱し、利用者の意図に応じた出力ができるようになる。未知の指示に対しても、過去の類似した指示への対応を応用して振る舞える能力が養われる。

学習データは人間が手作業で作成する場合もあれば、別のAIモデルを使って自動生成する場合もある。また、複数の候補出力を人間が比較・評価し、より望ましいものを選んだ結果を学習に利用する方法もある。自動生成はコストを抑えられる反面、データの偏りや品質のばらつきが出力に影響するため、管理と評価の設計が課題となる。

この手法はモデルを特定用途に補正する「ファインチューニング」の一種であり、モデル全体を一から学習し直すわけではない。事前学習で蓄えた言語能力をベースにしたまま、「指示に従って応答する」という振る舞いを上乗せする形で学習が進む。この手法は安全性の観点でも効果があり、不適切な要求の拒絶や公平な回答といった指針をモデルに組み込む手段としても機能する。OpenAIが2022年に公開した「InstructGPT」がこの手法を広く知らしめ、現在では事前学習後に実施される標準的な工程として定着している。