GPT 【Generative Pre-trained Transformer】

概要

GPT（Generative Pre-trained Transformer）とは、米オープン AI(Open AI)社が開発・提供している訓練済みの大規模言語モデル(LLM：Large Language Model)。GPT-1からGPT-4まであり、同社のAIチャットボットサービス「ChatGPT」や米マイクロソフト(Microsoft)社の対話型 Web 検索サービス「Bing AI Chat」の技術基盤として用いられている。

日本語や英語などの自然言語で書かれた文章などで構成される大規模なデータセット（言語コーパス）で学習したニューラルネットワークの一種で、文章の理解や生成、要約、校正、対話、翻訳など様々なタスクをこなすことができる。

ディープニューラルネットワーク（DNN）の一種である「Transformer」を同社が実装し、学習データで訓練した言語モデルである。入力データ中の各要素に対して注目度合いに相当する重み付けを行う「アテンション」（attension）と呼ばれる機構が組み込まれており、旧来のモデルよりも的確な応答を返す。

GPTは同社が用意した大量の学習データで訓練済みだが、チャット、翻訳といった用途に応じて追加の学習を行うことで用途に適した良好な結果を得るようモデルを調整することができる。これを「ファインチューニング」（fine-tuning）と呼び、ChatGPTの有料サービスとして提供されている。

最初のモデルである「GPT-1」は2018年に発表され、言語モデルの規模を表すパラメータ数は1億1700万とされる。2019年には15億パラメータの「GPT-2」が、2020年には1750億パラメータの「GPT-3」が発表された。2022年の「GPT-3.5」、2023年の「GPT-4」は訓練データの生成元、パラメータ数などの詳細が非公表となった。

GPT-3.5に基づくAIチャットボット「ChatGPT」が会話の自然さや言語処理能力の高さから大きな話題となり、テキスト生成AI サービスの事実上の標準として世界で広く普及している。現在はGPT-3.5版が無償、より高精度なGPT-4版が有償で提供されている。同社ではGPTシリーズをベースに個別の分野や用途に特化した「Codex」（プログラムコード）、「ProtoGPT2」（タンパク質配列）、「BioGPT」（医学文献）なども開発・提供している。

(2023.9.27更新)