情報開発と利活用

令和維新

2004年4月から企業を離れ、コンサルタントや情報起業を試行しながら、失われた２０年を取り戻し、日本再生をめざす私の歩みをみて一人でも多くの後継者が出てくれることを祈りつつ友達から紹介されたこのホームページの更新を続け、これまでの活動の記録と今やビッグデータ、AI,、IOT,ブロックチェーン、仮想通貨の時代になってしまいましたが、私の現状認識と関連技術を紹介していきたい。

フォローする

UX

(0)

オンライン

(0)

ソーシャルメデイア

(0)

開発

(0)

スマートマネー

(0)

教育訓練開発手法の紹介

Headline News

Shopping List

お買いものレビューがまだ書かれていません。

< 新しい記事

新着記事一覧(全8812件)

過去の記事 >

2026.11.08

（１）SpaceXは、他のすべてのAI研究所をC言語で打ち負かした。（SpaceXは、他のすべてのAI研究所をC言語で打ち負かした。）

テーマ：人工知能(918)

カテゴリ： AI

SpaceX just COOKED every other AI lab. With C.

SpaceXは、他のすべてのAI研究所をC言語で打ち負かした。

Aaryan Kakad
アーリアン・カカド

Oct. 24, 2026
2026‎年‎10‎月‎24‎日

SpaceX just cooked every AI lab.
SpaceXがすべてのAI研究所を圧倒した。

And they did it in C. Not PyTorch. Not JAX. Not CUDA kernels dressed up in Python. Plain C.
しかも、PyTorchでも、JAXでも、Pythonで装飾されたCUDAカーネルでもなく、プレーンなC言語でそれを成し遂げたのだ。

イーロンが昨日これについてのツイートを投稿したものの、ほとんどの人たちはスルーしてしまった。

If you’re an ML person and you understand what’s actually being said — this is one of the most interesting infrastructure moves in AI this year.
もしあなたが機械学習の専門家であり、実際に語られている内容を理解しているなら——これは今年、AI分野における最も興味深いインフラの動きの一つである。

Let me explain it straight in simple words.
分かりやすく直接的に説明しよう。

Every major ML framework you’ve ever used — PyTorch, JAX, TensorFlow — is Python on top of C++/CUDA.
あなたがこれまでに使ったことのある主要なAIフレームワーク（PyTorch、JAX、TensorFlow）はすべて、C++/CUDAの上に構築されたPythonである。

That’s the default. That’s what every lab, every startup, every researcher reaches for.
それがデフォルトであり、すべての研究所、すべてのスタートアップ、すべての研究者が手に取るものである。

SpaceX looked at all of it and said no.
SpaceXはそのすべてを見て、ノーと言った。

彼らは純粋なC言語で独自のトレーニングスタックを記述したのだ。

Why does that matter? Python carries real overhead.
なぜそれが重要なのか。 Pythonには現実的な諸経費がある。

The GIL means Python executes one thread at a time.
GIL（グローバルインタプリタロック）があるため、Pythonは一度に1つのスレッドしか実行しない。

すべての演算呼び出しにおいてインタプリタの遅延が発生する。

At the scale SpaceX is operating, those aren’t rounding errors — they’re real bottlenecks.
SpaceXが稼働させている規模では、それらは誤差ではなく、実際のボトルネックとなる。

C++ has its own tax — vtable lookups, template instantiation, exception handling infrastructure.
C++にも独自の代償がある——vテーブルのルックアップ、テンプレートのインスタンス化、例外処理のインフラなどだ。

C++ gives you abstractions and abstractions always cost something.
C++は抽象化をもたらし、抽象化には常にコストが伴う。

At 220,000 GPUs running in tight coordination, cost compounds fast.
22万基のGPUが密に連携して稼働している状況では、そのコストは急速に膨れ上がる。

Pure C gives you full control.
純粋なC言語は、完全な制御を可能にする。

Memory layout, cache line alignment, prefetch hints — you decide everything.
メモリレイアウト、キャッシュラインの整列、プリフェッチのヒントなど、すべてを自分で決定できる。

Nothing is autotuned by a compiler that doesn’t know your topology.
あなたのトポロジーを理解していないコンパイラによって自動チューニングされるものなど何もない。

This is the difference between writing software like an ML engineer and writing software like a kernel engineer.
これは、機械学習エンジニアのようにソフトウェアを書くことと、カーネルエンジニアのようにソフトウェアを書くことの違いである。

SpaceX chose the kernel engineer path.
SpaceXはカーネルエンジニアの道を選んだのだ。

Now the “exact-maps to 220k GB300s” part — this is where it gets wild.
GB300 22万基への「完全マッピング」という部分――ここからが非常に過激である。

GB300 is NVIDIA’s Blackwell Ultra GPU. 192GB HBM3e per chip.
GB300はNVIDIAのBlackwell Ultra GPUであり、1チップあたり192GBのHBM3eを搭載している。

Massive NVLink bandwidth. The most powerful AI accelerator shipping right now.
膨大なNVLink帯域幅を持ち、現在出荷されている中で最も強力なAIアクセラレータである。

And SpaceX has 220,000 of them. For context — GPT-4 was trained on roughly 25,000 A100s.
そしてSpaceXはそれを22万基所有している。参考までに述べると、GPT-4は約2,500基のA100でトレーニングされた。

SpaceX assembled a cluster nearly 9x that GPU count, on hardware that’s dramatically more capable than the A100.
SpaceXは、A100よりも劇的に高性能なハードウェア上で、そのGPU数の約9倍に迫るクラスタを構築したのだ。

The 800G NICs are 800 Gigabit network cards — likely InfiniBand NDR — the pipes that let GPUs across different physical nodes talk to each other without becoming the bottleneck themselves.
800G NICは800ギガビットのネットワークカード（おそらくInfiniBand NDR）であり、異なる物理ノード間にあるGPU同士が、それ自体をボトルネックにすることなく通信できるようにするパイプである。

“Exact-maps” is the key phrase and most people are missing what it means.
「完全マッピング」は重要なキーワードであり、ほとんどの人はその意味を理解し損ねている。

Most frameworks schedule operations across devices abstractly.
ほとんどのフレームワークは、デバイス間の処理を抽象的にスケジュールする。

They don’t actually know your physical topology. They guess.
それらは物理的なトポロジーを実際に知っているわけではなく、推測しているのだ。

NCCL — NVIDIA’s Collective Communications Library — tries to figure out the optimal AllReduce ring topology at runtime. It’s genuinely good at this.
NVIDIAの集合通信ライブラリであるNCCLは、実行時に最適なAllReduceのリングトポロジーを見つけ出そうとする。これは本当に優れたものである。

But it can’t know things that only the hardware designer knows. SpaceX hardcoded everything.
しかし、ハードウェア設計者にしか分からないことは、知るよしもない。SpaceXはすべてをハードコードした。

Which operation runs on which GPU. Which GPU talks to which GPU over NVLink. Which nodes communicate over the 800G fabric and in what order.
どの処理がどのGPUで実行されるのか。どのGPUがNVLinkを介してどのGPUと通信するのか。どのノードが800Gファブリックを介して、どのような順番で通信するのか。

The software topology mirrors the physical hardware topology one-to-one.
ソフトウェアのトポロジーが、物理ハードウェアのトポロジーと1対1でミラーリングされているのだ。

No AllReduce surprises. No NCCL guessing. No communication overhead from a framework that doesn’t know what silicon it’s running on.
AllReduceのサプライズもなく、NCCLの推測もなく、自分がどのシリコン上で動作しているのか分からないフレームワークによる通信諸経費もない。

The pipeline parallelism emphasis makes complete sense at this scale.
この規模では、パイプライン並列化への重点的アプローチが完全に理にかなっている。

==============================

インターネット・コンピュータランキング

==============================

ネットサービスランキング

==============================