我大约在 2021 年第一次读到 Rich Sutton 那篇著名的 The Bitter Lesson。当时我的博士读得很挣扎，做 AI accelerator 的论文接连被拒，所以并没有真正理解这篇文章。做硬件总让我觉得自己在追赶，只负责把算法研究者那些聪明的想法实现出来。我以为真正的创新在模型里，而不在硅片上。
几年后再读，它的道理突然变得非常清楚。这个 lesson 之所以 bitter，是因为它会打击研究者的自信：从长期来看，人类精心设计的聪明方案，总会被更简单、更通用，只是用了海量计算的方法超过。真正的瓶颈，也是推动进步的力量，并不在于算法有多优雅，而在于运行它的硬件能提供多少原始算力。寻找更高的智能，不只是在寻找算法，也是一场硬件竞赛。
这也让硬件成了 AI 最令人兴奋的前沿。但对性能无止境的追求同样带来了沉重的负担，也就是规模之重：我们不得不面对可编程性、可持续性和公平性上的一系列难题。
可编程性
依靠晶体管 scaling 轻松获得性能的时代已经结束。现在的性能提升，越来越依赖为特定 workload 设计芯片和系统，无论是 AI、crypto 还是其他应用。这种 specialization 不只发生在芯片上，还会一路延伸到编程语言、compiler 和系统架构。每一层都在想办法挤出更多性能，代价则是灵活性和可编程性。如果一颗芯片比 NVIDIA GPU 快十倍，却没有人知道该怎么使用，它在现实中仍然没有太大意义。这也是 CUDA moat 难以跨越的原因。
开源 ML 社区正在通过 Triton 和 ROCm 等项目改善这个问题，让开发者更容易在不同硬件上写出 portable、高性能的代码。这些项目值得期待，但核心矛盾不会消失。很多时候，我们造出了计算世界里的 Ferrari，开起来却像拖拉机。硬件拥有巨大的潜力，开发者却很难真正利用它。如何缩小两者之间的差距，是 scaling 路上的第一道难关。
Scaling 的困境
芯片设计极其困难。从项目启动到 tape-out，往往需要两三年和几百人的投入。如果还要做出完整的软件栈和系统级集成，就又是两三年和另一支同样庞大、甚至更大的团队。今天仍有这么多公司投入 AI 芯片，是因为市场足够大，NRE 成本与潜在回报相比几乎可以忽略（ASIC Cloud，Chiplet Cloud）。即便如此，规模带来的回报也不一定跟得上投入的时间和金钱。对于任何应用，性能与投入的曲线最终都会变平。到了某个点，就没有人愿意继续玩下去了。
除了钱，环境也是一个大问题。训练大型神经网络产生的碳排放已经相当可观，而且还在增长。如果新硬件确实能提高效率，这个代价也许值得；但总会有一个时刻，环境成本大到无法忽视。设计更可持续的硬件系统，需要整个 stack 一起改变：设计高能效芯片，用旧制程做 heterogeneous packaging，以及构建能够重新利用旧硬件、延长使用寿命的 heterogeneous system。如果还想继续前进，又不撞上无法跨越的经济和环境壁垒，这些问题就绕不过去。
Hardware Lottery 与公平
这件事看起来和硬件没有那么直接，却困扰了我很久。Sarah Hooker 提出的 hardware lottery 指出，一个研究想法能够成功，往往不是因为它最好，而是因为它刚好适配现有的软件和硬件。DeepSeek 的成功再次说明了这一点：他们优化模型，让它在自己拥有的 GPU 上高效运行。这当然说明了软硬件 co-design 的重要性，也暴露出一个会自我强化的循环。大公司把海量硬件资源投向能够赚钱的应用，也因此制造出一个极不平等的赛场。不是每个研究方向都有同样的机会取得进展，也不是每个人都能从技术进步中受益。最终，科学研究的方向可能被少数公司左右，而它们的商业利益与公平进步的理想并不总是一致。
所以我们不只需要更快的硬件，也需要更多人能够用得起、用得上的硬件。让芯片设计流程更加开源，鼓励 agile、modular 的硬件开发，以及推动 AI 在 edge device 上运行，都是值得尝试的方向。公平问题听起来可能很 cliché，但后果是真实的。当世界越来越分裂时，我希望技术至少不要让一切变得更糟。
这是最好的时代，也是最坏的时代
每一次令人兴奋的性能飞跃，都会投下一片新的阴影。我们需要的硬件不能只为了性能 scale up，也要 scale out，让更多想法和更多人能够使用它。
好了，我觉得一个周五晚上的 context window 已经用完了。真正的解决办法，反正还是让机器来做困难的工作。最后再引用一次 Sutton：
We want AI agents that can discover like we can, not which contain what we have discovered. Building in our discoveries only makes it harder to see how the discovering process can be done.