2023/3/15 GPT-4リリース！
2023/3/15 GPT-4がついにリリースされました！
最新情報は以下を参照
以下はGPT-4リリース前の情報
GPT-4のパラメータ数はほんとのところどうなのか？
ChatGPTで話題のGPT-3.5ですが、GPT-4のパラメータ数はどれくらいの規模になるのでしょうか？
いろいろ情報が出回っていますので整理してみました。
やはり、2023年2月時点でまだ公式な発表は無さそうです。
| モデル名 | パラメータ数 | リリース年月日 | 概要 |
|---|---|---|---|
| GPT-1 | 1.1憶 | 2018年06月 | Transformerベースの言語モデルで、事前学習されたテキストの次の単語を予測することができます。 |
| GPT-2 | 15憶 | 2019年2月 | GPT-1よりも多くのパラメータを持ち、より長い文章を生成することができます。また、Zero-shot Learningという機能を持ち、与えられた文脈に基づいて新しいタスクに適応できます。 https://openai.com/blog/better-language-models/ |
| GPT-3 | 1750憶 | 2020年6月 | 過去最大のパラメータ数を持つ言語モデルで、人間に匹敵する精度で文章生成、質問応答、文書要約、翻訳などのタスクに利用されます。 https://openai.com/blog/openai-api/ |
| ChatGPT | 未公表 | 2022年11月 | GPT-3と同じアーキテクチャを使用したチャットボット用のモデルで、人工知能による会話生成に利用されます。 |
| GPT-4 | ？？？ 噂では１兆とか100兆とか | ？？？ | GPT-4はまだリリースされていないため、パラメータ数やリリース日に関する情報は不明です。ただし、より大きなパラメータ数とより高い性能が期待されています。 https://openai.com/blog/chatgpt/ |
他のモデルも含めてイメージにすると以下のようになります。GPT-4が100兆の場合のグラフです。
GPT-4が桁違いなのがよくわかります。
ただし、OpenAIのCEOは、この100兆パラメータという話については、「まったくでたらめ」と述べています。
おそらく誰かが根拠のない情報を流して拡散された結果でしょう。
ということで2023年2月現在、OpenAIから公表されたGPT-4に関するパラメータ数の情報はありません。この時点で出回っている情報は全て根拠のない情報になります。
リリース日についても、
「安全かつ責任を持って実行できると確信した時点で発表される」
とのことです。
まだ確定できる段階ではなさそうです。
引き続きGPT-4の情報はウォッチして最新情報はアップします。
その他、最新GPTシリーズの記事(ChatGPT (GPT-3.5相当))
参考文献
OpenAI CEO Sam Altman on GPT-4: “people are begging to be disappointed and they will be”
GPT-4 is the much-anticipated upgrade to ChatGPT.
www.theverge.com
Better language models and their implications
We’ve trained a large-scale unsupervised language model which generates coherent paragraphs of text, achieves state-of-t...
openai.com
OpenAI API
We’re releasing an API for accessing new AI models developed by OpenAI.
openai.com
Introducing ChatGPT
We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ...
openai.com
コメント