読み方：シーオーティー

CoT【Chain-of-Thought】思考の連鎖

概要

CoTとは、大規模言語モデル（LLM）に対して問題を解く過程の中間的な推論ステップを明示的に生成させることで、複雑な問題への回答精度を向上させるプロンプト技法。2022年に米グーグル（Google）社の研究者らによって論文で報告された。

対話型 AIにおける通常のプロンプトでは、質問を与えて回答させるという形式で最終的な答えだけを出力させるが、CoTでは「質問→思考過程→回答」という形式で推論の各ステップを順番に出力させる。例えば、算数の文章題に対して、いきなり数値を答えさせるのではなく「まず〇〇を求め、次に〇〇と〇〇を掛け合わせると…」のように段階的に考えを展開させるよう求めることで、最終的な答えの正確さが高まることが実験で示された。

CoTを引き出す方法は主に2種類ある。一つは「Few-shot CoT」で、推論ステップを含む例示（デモンストレーション）をプロンプト内に複数示すことで、モデルに同様の形式で回答させる。もう一つは「Zero-shot CoT」で、例示を与えずに「ステップバイステップで考えてください」（Let's think step by step）といった指示文を加えるだけで推論ステップを引き出す手法である。

CoTが有効に機能するのは、十分な規模を持つLLMに限られることが実験的に示されており、小規模なモデルでは効果が限定的とされる。数学的な推論や論理パズル、複数ステップを要する計画立案などのタスクで顕著な精度向上が見られたと報告されている。

CoTを発展させた手法として「Tree of Thought」（ToT）や「Self-Consistency」などが提案されている。CoTに限らず、対話型のLLMサービスではプロンプトの与え方によって回答の精度が大きく変化することが広く知られるようになり、LLMの推論能力を引き出す「プロンプトエンジニアリング」という技術分野が大きく発展した。