AI企業のCerebrasが、大規模言語モデル「Cerebras-GPT」をオープンソースで公開しました。このモデルは、OpenAIのGPT-3をベースに、DeepMindのChinchilla方式で学習したものであり、どのモデルよりも短い学習時間、低い学習コスト、そして少ない消費電力を特徴としています。Cerebras-GPTは、7種類のモデルがあり、パラメータ数は1億1100万から130億です。Cerebrasは、各モデルサイズに最適な学習トークンを使用し、単位計算量あたりのデータ損失を最小限に抑えることに成功しています。また、Cerebras-GPTは下流タスクでも高い学習効率を維持し、グラフによれば、他のモデルよりも優れた性能を発揮していることが示されています。
Bing AIの説明
Cerebras-GPTは、Cerebras社が開発した大規模言語モデルで、OpenAIのGPT-3をベースに、DeepMindが2022年3月にリリースしたChinchilla方式で学習したモデルです。Cerebras-GPTは、最先端の学習効率を持つ初の公開大規模GPTモデル群として、効率的な学習のためのレシピとして、またさらなるコミュニティ研究のための参考資料として役立つことを期待されています。
Cerebras-GPTは、Cerebrasが抱えるAIスーパーコンピューターの Andromeda の一部であるCS-2システムで数週間で学習が行われているとのことです。Cerebras-GPTは、7つのGPT-3モデルを111百万から130億パラメータに拡張し、精度と計算効率において新しい基準を設定しました。
Chinchilla方式とは、DeepMindが2022年3月にリリースした、GPT-3の学習に使用された方法です。Chinchilla方式は、学習データとモデルサイズを均等にスケーリングすることで、最適な学習を行うことができることが示されています。Cerebras-GPTは、Chinchilla方式で学習されたモデルの一つです
https://gigazine.net/news/20230329-cerebras-gpt/
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/16a20268.565e3fd9.16a20269.f13ada55/?me_id=1213310&item_id=20692048&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbook%2Fcabinet%2F9729%2F9784297129729_1_2.jpg%3F_ex%3D240x240&s=240x240&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
ゲームから学ぶAI --環境シミュレータ×深層強化学習で広がる世界 [ 西田 圭介 ]
価格：2,970円（税込、送料無料)
(2023/3/31時点)
【このカテゴリーの最新記事】
-
- no image
- no image
- no image
- no image
