过去 36 小时，AI 行业里热度最高的几条新闻，看上去和模型本身没有关系：Cerebras 推出第四代晶圆级推理系统 CS-4，号称对 10 万亿参数模型实现 1000+ tokens/秒的交互式解码；Modular 在 ModCon 2026 上把 Mojo 1.0 编译器与工具链直接以 Apache 2.0 全开源，并把 Modular Cloud 推向正式可用——后端支持 AWS Trainium、Google TPU、高通 Cloud AI 100 与 Dragonfly；Google 七月那篇 TurboQuant 论文，现在有了生产可用的 Rust 实现 Turbovec，把向量量化压到 2 bit，同时保留搜索精度。三件事彼此独立，指向的却是同一个方向：AI 的算力底座，正在同时从三个层面被拆开。
换句话说，CUDA + NVIDIA 不再是默认选项，而正在被刻意替换。这件事本身并不算新闻——过去两年”非 CUDA 栈”反复被提起。但它的进展一直被压在两个限制下：一是硬件替代品只能在特定 workload 上勉强追平，二是软件栈无法跨硬件移植。36 小时内同时发生的三件事，第一次让”硬件、编译器、内存与量化”三层同时具备非 CUDA 路径：
第一层，硬件。Cerebras CS-4 走的是 wafer-scale 路线，三颗 WSE-3 Turbo 通过 2 微秒级晶圆直连组成 Nexus Rack-Scale Platform，把 10T+ 参数模型的交互式推理拉到 1000+ tokens/秒，单瓦吞吐量比上一代提升 10 倍。和它同时登场的，是高通把 Cloud AI 100 与 Dragonfly 推上生产云、AWS Trainium 与 Google TPU 在 Modular Cloud 里获得一等公民待遇。NVIDIA 之外第一次有了”可同时承载长上下文与多轮交互”的硬件候选池。
第二层，编译器与运行时。Mojo 1.0 编译器与工具链 Apache 2.0 全开源，意味着自研推理引擎与 kernel 第一次有了一个”非 CUDA、跨硬件、可长期投入”的语言层——Mojo 的定位不是替代 Python，而是替代”为每一块新芯片重写一遍运行时”。Modular Cloud 已经把 OpenAI 兼容 endpoint 跑了好几个月，按 Artificial Analysis 第三方基准稳居延迟与吞吐第一梯队，并且已经在为某家中国头部模型公司做专用部署。这件事真正的信号是：MoE 与大模型推理第一次有了一条端到端可替代的工作流，而不是单点替换。
第三层，内存与量化。Turbovec 把 TurboQuant 论文里 2-bit 向量量化的方案做成了 Rust + Python 绑定，并且明确把”残差可被独立恢复”做成可证明的 recall 改进。实际含义很朴素：原本要 64GB 内存的嵌入库，现在可以塞进 16GB 甚至 8GB；RAG 系统的存储与带宽压力被直接打掉一个数量级。对那些跑在 N100、J6412 这类低功耗节点上的本地推理栈来说，这是”长上下文 + 大知识库”第一次在工程上同时负担得起。
三层各自独立，但 36 小时内同时落地，并不是巧合：硬件层的 wafer-scale 与异构芯片要先有跨硬件编译器才能被复用，内存层的 2-bit 量化要等到本地推理成为默认部署形态才有意义。它们是同一件事的三段——把”AI 算力 = NVIDIA GPU + CUDA + 8-bit 起步”这条默认假设的每一个环节都拆出可替代品。
这件事为什么值得专门写一篇
两周前的判断是：模型层的胜负正在被消化，真正的竞争迁移到了路由、协同与治理三条商业表面（详见本栏目《AI 行业的下一站竞争，已经不在模型层》）。那篇文章关心的是”商业价值往哪一层流”，关心的对象是买家、产品经理和投资人。这篇文章关心的对象不一样——关心的是”算力底座会不会在某个时点突然断供”。
在过去十年，AI 工程的默认假设一直只有一条：你的训练与推理跑在 NVIDIA 上，编译器是 CUDA，量化至少 8-bit 起。围绕这条默认假设，长出了整套生态——推理框架、模型权重格式、社区教程、性能基准、定价模式，几乎一切都是为这条假设优化的。它不只是工程习惯，它是商业结构。
一旦这条默认假设开始被替换，被替换的就不只是某个芯片或某个框架，而是”任何单一环节都不能塌”这件事本身的难度。对买家来说，这是一件好事——单一供应商风险第一次有了可执行的备选方案。对依赖默认假设建起整条供应链的公司来说，这是一道分水岭：CUDA 生态积累十年的护城河，第一次出现多条平行缺口。
对工作流意味着什么
落到具体工作上，三件事值得立刻动手：
- 把”算力底座”也纳入多源冗余设计。和模型层的”主供应商 + fallback + 本地开源”一样，推理栈现在可以做成”主硬件 + 跨硬件编译器 + 内存/量化压缩”的三层结构。哪怕现在还用 NVIDIA 主力，至少要把一条非 CUDA 路径跑通端到端，等到真正需要切换时不是从零开始。
- 重新评估”长上下文 + 大知识库”项目的硬件预算。Turbovec 这类 2-bit 量化与 Memory-based 长上下文架构结合后，原本需要 64GB 显存的嵌入库在 16GB 节点上就能跑——意味着本地推理栈的硬件门槛正在被腰斩，下一次部署评估应该按新基线重做。
- 把”算力来源透明度”纳入对外材料的标配。对企业客户、政府客户和学术评审来说，”这条工作流跑在哪块芯片、哪个编译器、哪个量化档位”正在成为和”用了哪个模型”同等重要的采购问题。主动写清楚，比被问出来更稳。
这三条都不是”现在就换掉 NVIDIA”——这件事还要等上 12 到 18 个月才会真正发生。它们的价值在于：等到换的那一天来临时，已经在非默认路径上跑通过一次的人，比第一次听说这件事的人要快得多。
AI 行业最近这一年，最值得记录的变化不是哪一个新模型又涨了几分，而是行业开始同时从模型层、商业层、算力底座层三个方向承认一件事——单一默认值不可持续。承认这件事的人，才有资格参与定义下一个默认值。