shigechan2008のブログ

shigechan2008のブログ

2025.11.21
XML
カテゴリ: 半導体、電子部品
9TO5MAC ​に出た、マーカス・メンデスさんの記事を抜粋しました。
AppleのMachine Learning Researchブログの新しい投稿で、ローカルLLMの実行に関して、M5 AppleシリコンがM4よりもどれだけ改善されているかを示した。詳細は以下の通り。
※ローカルLLMって、デバイス内部で完結するLLM(大規模言語モデル)という理解で良いのかな🤔
  • 数年前にAppleは「Appleシリコン上で効率的で柔軟な機械学習のためのアレイフレームワーク」と説明しているMLXをリリースした
  • 実際には、MLXはオープンソースのフレームワークで、開発者がAppleシリコンのMacで機械学習モデルをネイティブに構築して実行し、AIの世界に馴染みのあるAPIとインターフェイスでサポートする
  • MLXは効率的で柔軟性があり、Appleシリコン用に高度に調整されたオープンソースのアレイフレームワークである
  • MLXは、数値シミュレーションや科学計算から機械学習まで、さまざまな用途に使用でき、テキストと画像生成を含むニューラルネットワークのトレーニングと推論のサポートが組み込まれている
  • MLXを使用すると、Appleシリコンデバイスで大規模な言語モデルでテキストを簡単に生成したり、微調整したりできる
  • MLXは、Appleシリコンの統合メモリアーキテクチャを活用している
  • 現在入手可能なMLXパッケージの1つはMLX LMで、テキストを生成しAppleシリコンMacで言語モデルを微調整するためのものである
  • MLX LMを使用すると、開発者とユーザーはHugging Faceで利用可能なほとんどのモデルをダウンロードし、ローカルで実行できる
  • このフレームワークは、より少ないメモリを使用しながら大きなモデルを実行できるようにする圧縮方法である量子化もサポートしていて、より高速な推論につながる
M5対M4
  • パフォーマンスの向上を説明するために、AppleはMLX LMを使用して、M4およびM5 MacBook Proでプロンプトを受信した後、複数のオープンモデルが最初のトークンを生成するのにかかった時間を比較した
  • 中略
  • Appleは128の追加トークンの生成速度も評価し、一般的にM5はM4と比較して19-27%のパフォーマンス向上を示した:これらの結果に関してAppleは次のとおり解説した
  1. この投稿でテストしたアーキテクチャでは、M5はメモリ帯域幅が大きいのでM4と比較して19-27%のパフォーマンス向上を提供した:M4は120GB/s、M5は153GB/s、28%高い
  2. メモリフットプリントに関しては、MacBook Pro 24GBはBF16精度で8Bまたは30B MoE 4ビット量子化を簡単に保持でき、これらのアーキテクチャの両方で推論ワークロードを18GB以下に抑えることができる
  3. Appleは画像生成のパフォーマンスの違いも比較し、M5はM4の3.8倍以上の速さで仕事をしたと述べた
こちら ​から読み、MLXの詳細については​ こちら ​をご覧ください。


もう完全に受け売りなので、自分の意見すら出てこない😱





お気に入りの記事を「いいね!」で応援しよう

最終更新日  2025.11.21 16:35:01
コメント(0) | コメントを書く


■コメント

お名前
タイトル
メッセージ

利用規約 に同意してコメントを
※コメントに関するよくある質問は、 こちら をご確認ください。


【毎日開催】
15記事にいいね!で1ポイント
10秒滞在
いいね! -- / --
おめでとうございます!
ミッションを達成しました。
※「ポイントを獲得する」ボタンを押すと広告が表示されます。
x
X

PR

コメント新着

shigechan2008 @ Re[1]:ラジオRF-P150Aのチューニングインジケーター調整(08/27) よしみきさんへ 今晩は。 点灯すればLEDは…
よしみき@ Re:ラジオRF-P150Aのチューニングインジケーター調整(08/27) 初めまして 中古でRF-P150を入手しまして …
八雲です@ Re:グリーンファンは再び不調、でも今度こそ直しました!:追記その3(09/03) 拙宅で使ってたグリーンファンが上下角を…
shigechan2008 @ Re[1]:T-12ラジオのその後(03/29) silverradioさんへ お早う御座います、コ…
silverradio@ Re:T-12ラジオのその後(03/29) 通りすがりで失礼させていだだきます。 V…

プロフィール

shigechan2008

shigechan2008

フリーページ

キーワードサーチ

▼キーワード検索

購入履歴

口閉じテープ いびき防止テープ 鼻呼吸テープ 口呼吸テープ グッズ マウステープ 口テープ 安眠 口呼吸防止 いびき対策 いびき軽減 鼾防止 剥がれにくい【楽天1位★睡眠のプロ監修★複数で最大半額】?レビュー特典付き/口閉じテープ いびき防止テープ 鼻呼吸テープ 口呼吸 テープ 口呼吸防止 いびき防止 グッズ テープ マウステープ 口テープ いびき 安眠 いびき対策 いびき軽減 鼾防止 剥がれにくい RP5 RPR
エージー24メン メンズシート フェイス&ボディ スタイリッシュシトラス 30枚エージー24メン メンズシート フェイス&ボディ スタイリッシュシトラス 30枚 【エージーデオ24(Ag deo 24)】 男性化粧品(メンズコスメ) ボディ用
スジャータ プレミアム ブラックコーヒー 無糖 1000ml紙パック 6本 珈琲 アイス コーヒー 無糖 ブラック 1l 1Lスジャータ プレミアム ブラックコーヒー 無糖 1000ml紙パック×6本入| 送料無料 珈琲 アイス コーヒー 無糖 ブラック 1l 1L
9種類の必須ミネラルを効率良く補えるマルチミネラル<栄養機能食品>【ファンケル 公式】 [ FANCL サプリ サプリメント ミネラル 健康 お徳用 鉄 カルシウム 亜鉛 マグネシウム 男性 女性 カルシュウム 鉄分 栄養補助 美容 ミネラルサプリ ミネラル不足 栄養 ヘ
カルシウムの働きをサポート。丈夫な体づくりに。ビタミンD【ファンケル 公式】 [FANCL サプリ サプリメント 健康食品 健康 ビタミン ビタミンサプリメント 栄養補助食品 栄養 元気 男性 女性 食事で不足 ビタミンD3 野菜不足 栄養補給 栄養剤 ビタミン剤 ビタミンサプリ 足腰 健康サプリ 美容サプリ]

カレンダー

お気に入りブログ

丸千代山岡家:鍛え… New! エム坊さん

鳥インフルエンザ”H5… New! 藻緯羅さん

櫻坂46 松田里奈1st… New! inkyo7さん

#富山地鉄 立山線 デ… New! 鉄人騎士。さん

源氏物語〔34帖 若菜… New! USM1さん

がんばるしかないさ‣… New! セミ・コンフィさん

味噌ちゃんこ味ラー… New! エンスト新さん

2025秋旅 九州編(9日… New! ナイト1960さん

爆睡 こ うさん

午後から・・ こたつねこ01さん


© Rakuten Group, Inc.
Mobilize your Site
スマートフォン版を閲覧 | PC版を閲覧
Share by: