shigechan2008のブログ

shigechan2008のブログ

2025.11.21
XML
カテゴリ: 半導体、電子部品
9TO5MAC ​に出た、マーカス・メンデスさんの記事を抜粋しました。
AppleのMachine Learning Researchブログの新しい投稿で、ローカルLLMの実行に関して、M5 AppleシリコンがM4よりもどれだけ改善されているかを示した。詳細は以下の通り。
※ローカルLLMって、デバイス内部で完結するLLM(大規模言語モデル)という理解で良いのかな🤔
  • 数年前にAppleは「Appleシリコン上で効率的で柔軟な機械学習のためのアレイフレームワーク」と説明しているMLXをリリースした
  • 実際には、MLXはオープンソースのフレームワークで、開発者がAppleシリコンのMacで機械学習モデルをネイティブに構築して実行し、AIの世界に馴染みのあるAPIとインターフェイスでサポートする
  • MLXは効率的で柔軟性があり、Appleシリコン用に高度に調整されたオープンソースのアレイフレームワークである
  • MLXは、数値シミュレーションや科学計算から機械学習まで、さまざまな用途に使用でき、テキストと画像生成を含むニューラルネットワークのトレーニングと推論のサポートが組み込まれている
  • MLXを使用すると、Appleシリコンデバイスで大規模な言語モデルでテキストを簡単に生成したり、微調整したりできる
  • MLXは、Appleシリコンの統合メモリアーキテクチャを活用している
  • 現在入手可能なMLXパッケージの1つはMLX LMで、テキストを生成しAppleシリコンMacで言語モデルを微調整するためのものである
  • MLX LMを使用すると、開発者とユーザーはHugging Faceで利用可能なほとんどのモデルをダウンロードし、ローカルで実行できる
  • このフレームワークは、より少ないメモリを使用しながら大きなモデルを実行できるようにする圧縮方法である量子化もサポートしていて、より高速な推論につながる
M5対M4
  • パフォーマンスの向上を説明するために、AppleはMLX LMを使用して、M4およびM5 MacBook Proでプロンプトを受信した後、複数のオープンモデルが最初のトークンを生成するのにかかった時間を比較した
  • 中略
  • Appleは128の追加トークンの生成速度も評価し、一般的にM5はM4と比較して19-27%のパフォーマンス向上を示した:これらの結果に関してAppleは次のとおり解説した
  1. この投稿でテストしたアーキテクチャでは、M5はメモリ帯域幅が大きいのでM4と比較して19-27%のパフォーマンス向上を提供した:M4は120GB/s、M5は153GB/s、28%高い
  2. メモリフットプリントに関しては、MacBook Pro 24GBはBF16精度で8Bまたは30B MoE 4ビット量子化を簡単に保持でき、これらのアーキテクチャの両方で推論ワークロードを18GB以下に抑えることができる
  3. Appleは画像生成のパフォーマンスの違いも比較し、M5はM4の3.8倍以上の速さで仕事をしたと述べた
こちら ​から読み、MLXの詳細については​ こちら ​をご覧ください。


もう完全に受け売りなので、自分の意見すら出てこない😱





お気に入りの記事を「いいね!」で応援しよう

最終更新日  2025.11.21 16:35:01
コメント(0) | コメントを書く


【毎日開催】
15記事にいいね!で1ポイント
10秒滞在
いいね! -- / --
おめでとうございます!
ミッションを達成しました。
※「ポイントを獲得する」ボタンを押すと広告が表示されます。
x
X

PR

コメント新着

shigechan2008 @ Re[1]:ラジオRF-P150Aのチューニングインジケーター調整(08/27) よしみきさんへ 今晩は。 点灯すればLEDは…
よしみき@ Re:ラジオRF-P150Aのチューニングインジケーター調整(08/27) 初めまして 中古でRF-P150を入手しまして …
八雲です@ Re:グリーンファンは再び不調、でも今度こそ直しました!:追記その3(09/03) 拙宅で使ってたグリーンファンが上下角を…
shigechan2008 @ Re[1]:T-12ラジオのその後(03/29) silverradioさんへ お早う御座います、コ…
silverradio@ Re:T-12ラジオのその後(03/29) 通りすがりで失礼させていだだきます。 V…

プロフィール

shigechan2008

shigechan2008

フリーページ

キーワードサーチ

▼キーワード検索

カレンダー

お気に入りブログ

トーメンデバイス:… New! エム坊さん

【令和6年能登半島地… New! inkyo7さん

源氏物語〔34帖 若菜… New! USM1さん

2025年11月24日… New! 藻緯羅さん

#富山地鉄 立山線 デ… New! 鉄人騎士。さん

帰り道で道草? New! こたつねこ01さん

あれこれと‣…… New! セミ・コンフィさん

マイナ保険証 New! エンスト新さん

2025秋旅 九州編(10… New! ナイト1960さん

街の病院で治らない… New! 潜在意識の設計士:Inner Heart [向月 謙信]さん


© Rakuten Group, Inc.
X
Mobilize your Site
スマートフォン版を閲覧 | PC版を閲覧
Share by: