“AI定律”VS“摩尔定律”
作者：微信文章扎克伯格在Meta的第二季度财报电话会议上表示，要训练“拉马4”，预测，其计算能力将是训练 “拉马3”所需的10倍。未来的模型将继续超越这一水平，”。这反映了人工智能领域的一个趋势，即计算需求的增长速度远远超出摩尔定律的预测。很多人工智能投资人对此吓得不浅，有个业内的坊间说法，摩尔定律被AI定律替代了，甚至提出了“AI定律”的说法，这足以说明，高科技行业投资人对业已来临的人工智能革命表达出高亢的热情与期待。
这是否颠覆摩尔定律？需要从几个角度来看：
1.摩尔定律的核心：硬件增长速度
摩尔定律原本描述的是晶体管密度在半导体芯片上的增长，即硬件性能（例如计算能力）每两年翻一倍。然而：
硬件的进步速度仍然大致符合摩尔定律，但增长正在逐渐放缓。AI领域的计算需求远超摩尔定律的增长速率。例如，扎克伯格提到的10倍增长完全超越了硬件本身的改进速度。
结论：AI模型的计算需求增长与摩尔定律所描述的硬件能力增长脱节。
2.超越摩尔定律的计算需求
训练更大的AI模型，如 “拉马4”，需要更复杂的硬件架构、更高效的软件优化以及更多的能量投入。这反映了以下几个现象：
算法规模化驱动：大型语言模型依赖指数级增加的参数量（例如GPT-4和GPT-3参数量的差距），导致计算需求爆炸。计算需求的指数级增长：根据OpenAI的研究，从2012年到2020年，AI模型的计算需求每3.4个月翻一倍，这个增长速率已经是摩尔定律的数倍。
3. AI计算需求增长的意义
扎克伯格的表态说明了以下趋势：
算力鸿沟加剧：巨头公司拥有庞大的算力资源，这可能进一步拉开与其他企业或研究机构之间的差距。能源与成本压力：训练更大的模型需要更多的能耗和财务投入，可能推动开发更高效的算法（如稀疏网络）或更节能的硬件。
总结：摩尔定律未被颠覆，但AI需求迫使我们超越传统硬件
扎克伯格的描述说明了AI对算力的需求正在以指数级速度增长，远超摩尔定律的硬件提升速度。这并不意味着摩尔定律被颠覆，而是表明硬件、算法和系统架构需要在新环境下实现协同创新，去适应AI时代的指数级需求增长。
然而，OpenAI提出了一个类似“摩尔定律”的观察：大型AI模型的训练计算量每3到4个月翻一倍，相当于年增长率接近700%–1000%。。这种增长表明，训练前沿模型所需的计算量在指数级增长，远超摩尔定律的硬件发展速度。近年来，这种趋势虽然有所放缓，但仍然显著。
为何至今没有得出类似“摩尔定律”的“AI定律”？因为在人工智能经济学界认为，AI发展过程中，技术突破的时间表经常被预测过于乐观，但长期的革命性变化往往超出预期。“AI定律”对“摩尔定律”的挑战既已形成，至于何时能够系统归纳出，“一切都在抓狂般的等待与期盼中”
长期预测：
短期（3-5年）：综合算力需求可能会以200%-300%的年增长率 增长，因为AI模型的扩展仍在高峰期，硬件的升级速度还不足以完全满足需求。中期（5-10年）：随着硬件制约和算法优化（如稀疏模型、更高效的架构）的作用，综合增长率可能逐渐稳定在50%-100%的年增长率。长期（10年以上）：如果量子计算或其他革命性技术取得突破，增长率可能再次提速。
页:
[1]