東方見雲録

全て | カテゴリ未分類 | 2002 | 2003 | 2004 | 2005 | 2006 | 2007 | アーカイブス | 2022 | 2021 | 2023 | まちづくり | 教育 | 宙（そら）学入門 | 郷土 | 生命 | ランドスケープ | 環境 | 政経 | 文化 | 科学 | ものづくり | スクラップ | 建築 | 土木 | デジタル | 私見 | スポーツ

2025.11.24

言葉の森：LLMのスケール則

テーマ：百聞は一見に如かず。今日のデジカメ写真(6671)

カテゴリ：デジタル

大規模言語モデル（LLM）の急成長を促してきたスケール則が限界に近づく ―― 「2025年、世界のAI開発は停滞する」という説は本当か？

中でも機械学習、つまりLLMのような大規模AIのトレーニングに使われるデータ量はAIの性能を左右する最も重要な要素と見られていた。
・・・・
2025年以降、OpenAIはGPT-5やその後継モデルを次々とリリースしていくと見られる。が、その一方で同社をとりまく産業界や大学の研究者らの中には、「スケール則が限界に達した今、LLMを中心とするAI開発は今後しばらく停滞する」と見る人も少なくない。「既にGPT-5を開発する段階で苦戦しているOpenAIがその証拠だ」というのである。

これに対しOpenAIのサム・アルトマンCEOやNvidiaのジェイスン・フアンCEOなど主力企業の経営者らは「スケール則は未だ限界に達しておらず、LLMの性能が向上する余地は残されている。また仮に今後、限界に達したとしても、それに代わる全く新しい方法や技術がすぐに現れ、これまでの指数関数的なAIの成長は今後も続く」と強気な姿勢を崩していない。

実は今から数年前にも同様の議論がなされたことがあった。2012年頃に始まったディープラーニング・ブームでは、画像や音声などのパターン認識で飛躍的な性能の向上が見られたが、2018年頃にはそれが高原状態（plateau）に達し、このときにも「AI開発は今後しばらく停滞するのではないか」という声が一部専門家の間で聞かれた。

しかし当時、水面下ではOpenAIやグーグルなどが（ディープラーニング技術をベースに）従来とは全く異なるLLMという新しい技術の開発を進めていた。これにより「画像や音声などのパターン認識」から「人間の言葉を理解する自然言語処理」へとAI開発の中心が移行することになった。これが2022年11月に「ChatGPT」として結実し、現在の世界的なAIブームを巻き起こしたのである。

こうした近年の歴史を振り返ると、仮に「スケール則が限界に達した」という見方がある程度は的を射ていたとしても、水面下では恐らくそれに代わる新たな方式や技術が着々と開発されているはずだ。現在のAIブームは若干の浮き沈みはあるにせよ、基本的には今後とも急成長を維持すると見るのが妥当だろう。
引用サイト：こちら