【2023年最新情報】GPT-4のパラメータ数

AI、機械学習

2023/3/15 GPT-4リリース!

2023/3/15 GPT-4がついにリリースされました!

最新情報は以下を参照

以下はGPT-4リリース前の情報

GPT-4のパラメータ数はほんとのところどうなのか?

ChatGPTで話題のGPT-3.5ですが、GPT-4のパラメータ数はどれくらいの規模になるのでしょうか?

いろいろ情報が出回っていますので整理してみました。

やはり、2023年2月時点でまだ公式な発表は無さそうです。

モデル名パラメータ数リリース年月日概要
GPT-11.1憶2018年06月Transformerベースの言語モデルで、事前学習されたテキストの次の単語を予測することができます。
GPT-215憶2019年2月GPT-1よりも多くのパラメータを持ち、より長い文章を生成することができます。また、Zero-shot Learningという機能を持ち、与えられた文脈に基づいて新しいタスクに適応できます。
https://openai.com/blog/better-language-models/
GPT-31750憶2020年6月過去最大のパラメータ数を持つ言語モデルで、人間に匹敵する精度で文章生成、質問応答、文書要約、翻訳などのタスクに利用されます。
https://openai.com/blog/openai-api/
ChatGPT未公表2022年11月GPT-3と同じアーキテクチャを使用したチャットボット用のモデルで、人工知能による会話生成に利用されます。
GPT-4???
噂では1兆とか100兆とか
???GPT-4はまだリリースされていないため、パラメータ数やリリース日に関する情報は不明です。ただし、より大きなパラメータ数とより高い性能が期待されています。
https://openai.com/blog/chatgpt/

他のモデルも含めてイメージにすると以下のようになります。GPT-4が100兆の場合のグラフです。

GPT-4が桁違いなのがよくわかります。

参考URL: https://cobusgreyling.substack.com/p/what-are-realistic-gpt-4-size-expectations

ただし、OpenAIのCEOは、この100兆パラメータという話については、「まったくでたらめ」と述べています。

おそらく誰かが根拠のない情報を流して拡散された結果でしょう。

ということで2023年2月現在、OpenAIから公表されたGPT-4に関するパラメータ数の情報はありません。この時点で出回っている情報は全て根拠のない情報になります。

リリース日についても、

「安全かつ責任を持って実行できると確信した時点で発表される」

とのことです。

まだ確定できる段階ではなさそうです。

引き続きGPT-4の情報はウォッチして最新情報はアップします。

その他、最新GPTシリーズの記事(ChatGPT (GPT-3.5相当))

参考文献

OpenAI CEO Sam Altman on GPT-4: “people are begging to be disappointed and they will be”
GPT-4 is the much-anticipated upgrade to ChatGPT.

Better language models and their implications
We’ve trained a large-scale unsupervised language model which generates coherent paragraphs of text, achieves state-of-t...
OpenAI API
We’re releasing an API for accessing new AI models developed by OpenAI.
Introducing ChatGPT
We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ...

コメント

タイトルとURLをコピーしました