shigechan2008のブログ

shigechan2008のブログ

2025.11.21
XML
カテゴリ: 半導体、電子部品
9TO5MAC ​に出た、マーカス・メンデスさんの記事を抜粋しました。
AppleのMachine Learning Researchブログの新しい投稿で、ローカルLLMの実行に関して、M5 AppleシリコンがM4よりもどれだけ改善されているかを示した。詳細は以下の通り。
※ローカルLLMって、デバイス内部で完結するLLM(大規模言語モデル)という理解で良いのかな🤔
  • 数年前にAppleは「Appleシリコン上で効率的で柔軟な機械学習のためのアレイフレームワーク」と説明しているMLXをリリースした
  • 実際には、MLXはオープンソースのフレームワークで、開発者がAppleシリコンのMacで機械学習モデルをネイティブに構築して実行し、AIの世界に馴染みのあるAPIとインターフェイスでサポートする
  • MLXは効率的で柔軟性があり、Appleシリコン用に高度に調整されたオープンソースのアレイフレームワークである
  • MLXは、数値シミュレーションや科学計算から機械学習まで、さまざまな用途に使用でき、テキストと画像生成を含むニューラルネットワークのトレーニングと推論のサポートが組み込まれている
  • MLXを使用すると、Appleシリコンデバイスで大規模な言語モデルでテキストを簡単に生成したり、微調整したりできる
  • MLXは、Appleシリコンの統合メモリアーキテクチャを活用している
  • 現在入手可能なMLXパッケージの1つはMLX LMで、テキストを生成しAppleシリコンMacで言語モデルを微調整するためのものである
  • MLX LMを使用すると、開発者とユーザーはHugging Faceで利用可能なほとんどのモデルをダウンロードし、ローカルで実行できる
  • このフレームワークは、より少ないメモリを使用しながら大きなモデルを実行できるようにする圧縮方法である量子化もサポートしていて、より高速な推論につながる
M5対M4
  • パフォーマンスの向上を説明するために、AppleはMLX LMを使用して、M4およびM5 MacBook Proでプロンプトを受信した後、複数のオープンモデルが最初のトークンを生成するのにかかった時間を比較した
  • 中略
  • Appleは128の追加トークンの生成速度も評価し、一般的にM5はM4と比較して19-27%のパフォーマンス向上を示した:これらの結果に関してAppleは次のとおり解説した
  1. この投稿でテストしたアーキテクチャでは、M5はメモリ帯域幅が大きいのでM4と比較して19-27%のパフォーマンス向上を提供した:M4は120GB/s、M5は153GB/s、28%高い
  2. メモリフットプリントに関しては、MacBook Pro 24GBはBF16精度で8Bまたは30B MoE 4ビット量子化を簡単に保持でき、これらのアーキテクチャの両方で推論ワークロードを18GB以下に抑えることができる
  3. Appleは画像生成のパフォーマンスの違いも比較し、M5はM4の3.8倍以上の速さで仕事をしたと述べた
こちら ​から読み、MLXの詳細については​ こちら ​をご覧ください。


もう完全に受け売りなので、自分の意見すら出てこない😱





お気に入りの記事を「いいね!」で応援しよう

最終更新日  2025.11.21 16:35:01コメント(0) | コメントを書く


【毎日開催】
15記事にいいね!で1ポイント
10秒滞在
いいね! -- / --
おめでとうございます!
ミッションを達成しました。
※「ポイントを獲得する」ボタンを押すと広告が表示されます。
x
X

PR

×

コメント新着

まりも@ Re:除湿機の振動音対策をやりました:画像とリンクを追加しました。(09/22) 除湿機の騒音に悩んでいるものです。 とて…
shigechan2008 @ Re[1]:明日は凍結しそうですね‼️(02/08) エンスト新さんへ 横浜ですから北国では…
エンスト新 @ Re:明日は凍結しそうですね‼️(02/08) こんにちは さすが北国はスニーカーにスパ…
shigechan2008 @ Re[1]:折り畳み財布のホックで割れてしまったカード(02/04) エンスト新さんへ 今日は。コメント有難…
エンスト新 @ Re:折り畳み財布のホックで割れてしまったカード(02/04) こんにちは カートは別にカード入れにした…
shigechan2008 @ Re[1]:葉っぱの彩りが豊かです(11/25) エンスト新さんへ 今晩は、ご無沙汰して…
エンスト新 @ Re:葉っぱの彩りが豊かです(11/25) こんにちは 絵画のような感じですね。

プロフィール

shigechan2008

shigechan2008

フリーページ

キーワードサーチ

▼キーワード検索

カレンダー

お気に入りブログ

7周年記念MEMORIAL L… New! inkyo7さん

2026年7月27日の… New! 藻緯羅さん

アークランズ:眠れ… New! エム坊さん

源氏物語〔35帖 柏木… New! USM1さん

次は無かったです・・ New! こたつねこ01さん

JR成田 総武本線 E49… New! 鉄人騎士。さん

煮麺・入麺‣……? New! セミ・コンフィさん

シンカトリ New! エンスト新さん

日常なるゲキジョウ… New! ナイト1960さん

生命力強いなぁ New! ばーど白鳥さん


© Rakuten Group, Inc.
X
Design a Mobile Site
スマートフォン版を閲覧 | PC版を閲覧
Share by: