AI Infra 正从“堆GPU”时代,走向“系统工程”时代.
作者：微信文章一、从“算力堆叠”到“系统极限博弈”
过去三年 AI Infra 的核心逻辑只有一个：
谁能堆更多 GPU，谁就能训练更大的模型。
但2026年，问题变了：
万卡集群成为常态
万亿参数模型不再稀缺
推理成本开始压过训练成本
Agent 开始长时间运行
物理世界数据暴涨
这意味着：
算力不再是“瓶颈点”，系统效率才是新的瓶颈点。
你可以把2026理解为：
从“硬件军备竞赛”转向“系统极限博弈”。
二、六大趋势的本质拆解
下面我不站在厂商视角，而站在“架构演进逻辑”看。
1️⃣ 超节点不是炫技，是通信崩溃的必然结果
当模型参数过万亿，真正拖慢速度的不是算力，而是：
AllReduce通信
KV Cache同步
节点延迟
Scale-Up（GB200那一套）本质是：
用物理结构消灭通信成本
Scale-Out（全光互连）本质是：
用规模对冲单点性能不足
但核心不是地缘路线。
核心是：
通信成本已经超过计算成本。
这是算力范式真正变化的信号。
未来十年，互连架构的重要性，会超过单卡算力。
2️⃣ 推理革命：算力开始“流式分工”
过去模型是：
训练贵
推理便宜
2026开始：
训练可控
推理爆炸
Agent、多轮对话、长推理链，让推理变成持续性负载。
PD分离的本质是什么？
把推理拆成两种完全不同的计算形态。
这是第一次，AI系统真正开始：
像数据库一样做资源调度。
未来推理架构会越来越像分布式系统，而不是单机GPU程序。
3️⃣ “永不停止”其实是资本效率问题
十万卡集群下：
每天都会坏
每小时都在丢节点
如果不能容错：
算力利用率可能只有70%
资本开支动辄几十亿美元。
所以：
训练稳定性 ≠ 技术优化训练稳定性 = 资金效率
谁能把Goodput从85%拉到95%，
谁就等于多了10%的算力。
这是最被低估的方向。
4️⃣ 内存墙才是真正的天花板
HBM价格越来越贵。
模型参数、KV Cache、嵌入表暴涨。
这时候真正的问题不是算力，是：
容量。
CXL、条件记忆、分层存储，本质是：
把“热数据”留在GPU把“冷知识”挪出GPU
这是一种：
结构化稀疏化。
未来模型增长不会再线性增长显存需求。
谁解决内存问题，谁就能继续扩展模型规模。
5️⃣ 物理AI是第二次算力爆炸
文本模型是离线世界。
物理模型是实时世界。
区别是：
必须实时
必须物理一致
必须交互
这对Infra意味着：
低延迟推理
实时仿真
边缘-云协同
这是一个完全不同的技术形态。
如果说LLM是算力密集型，
那具身智能是：
算力 + 时延 + 可靠性三重极限。
真正的挑战还没开始。
6️⃣ 编译器崛起：软件接管硬件
CUDA的垄断，本质是软件控制权。
当：
AMD崛起
国产芯片增多
异构算力并存
统一编译层变成关键。
未来不会再是：
“某一家GPU主导一切”
而是：
编译器层决定生态。
谁掌握编译器，谁掌握算力入口。
三、哪些方向确定会落地？
我给你一个判断等级。
✅ 高确定性趋势
超节点成为主流组织单元
推理成本成为主战场
PD分离全面普及
训练容错机制成为标配
内存分层管理常态化
软硬件深度耦合
这些是必然趋势。
⚠️ 中期观察趋势
世界模型规模化商用
全光数据中心成为主流
CXL真正普及
这些需要时间。
❗ 最大风险变量
电力瓶颈
政策监管
芯片供应链
能源价格
2030年数据中心耗电量翻倍不是技术问题，是社会结构问题。
四、真正的范式转移是什么？
不是超节点。
不是CXL。
不是RadixAttention。
真正的范式转移只有一句话：
AI Infra 正在从“算力供给系统”变成“智能生产系统”。
过去是：
给模型提供算力。
未来是：
为智能体运行构建持续性计算环境。
区别在于：
以前算完就停
未来永远在线
这会改变数据中心形态。
五、如果站在中国视角
真正的机会在三个点：
光互连
异构编译器生态
物理AI基础设施
而不是单卡追赶。
因为单卡差距很难短期抹平。
但：
系统架构差距可以弯道超车。
六、总结一句话
2026年不是算力升级年。
是：
AI基础设施系统工程化元年。
从“堆卡”
到“调度”
到“稳定”
到“结构优化”
到“世界模拟”
这不是性能升级，
是底层逻辑的重写。
页:
[1]