読み方：ジーピーティースリー

GPT-3【Generative Pre-trained Transformer 3】

GPT-3とは？

米オープンAI（OpenAI）社が2020年に発表した大規模言語モデル（LLM）。1750億個のパラメータを持ち、膨大なテキストデータを学習することで、文章生成、要約、翻訳、質問応答など多様な言語処理タスクに対応できる。APIとして提供され、多くのサービスや製品に組み込まれた。

基本的な仕組みは、入力されたテキストの続きとして最も自然な単語を確率的に選び出すことで文章を生成するというものである。内部構造には「Transformer」と呼ばれるニューラルネットワーク設計が採用されており、文章中の単語同士の関係を効率よく扱えるため、長い文脈を踏まえた一貫性のある出力が可能である。

従来の言語モデルでは特定のタスク向けに追加学習（ファインチューニング）が必要だったが、GPT-3は汎用性が高く、少数の例示や簡単な指示を与えるだけで多様な処理に対応できる。この手法は「Few-shot学習」と呼ばれ、従来の機械学習システムとの大きな違いとして注目された。

学習には書籍、Webページ、ニュース記事など数千億語規模のテキストが用いられた。パラメータ数1750億という規模は当時としては極めて大きく、この膨大な計算量を処理するために多数の高性能コンピュータと多額の資金が投じられた。大量のデータと大規模な計算資源を組み合わせることで、文脈理解や言語表現の柔軟性が従来モデルを大きく上回る水準に達した。

GPT-3の公開後、対話型 AIや文章生成サービスへの応用が急速に広がった。一方で、誤情報を含む文章の生成や、学習データに由来する偏りが出力に反映されるといった問題も指摘され、出力内容の検証や安全対策の重要性が議論されるようになった。GPT-3は同社のGPTシリーズの第3世代にあたり、後継の「GPT-4」は2023年に公開されている。