这其实很像传统的高性能计算的领域的需求 。实际上，在 2017 年的时候，我们在 Facebook 提出了一个概念叫做 return of MPI：用传统高性能计算的方式，来看待 AI 计算的问题 。例如，与其使用更加“容灾”的异步通信等方式，不如启用高性能计算领域常见的MPI Allreduce / send / recv 算子等“老方法”，实现更高性能的分布式训练 。2017 年，我在 Facebook 的团队和 FAIR 一起，将 Imag.NET 训练的速度降到了一个小时以内 。
今天不少的 AI 软硬件设计，都依然透出着高性能计算的影子 。例如，阿里云在 2022 年提出的飞天智算集群“灵骏”，通过 GPU 的高速互联以及轻量级的平台 PAI，来管理万卡级别的AI计算的需求；微软 Azure 在云上提供了这样一个专为高性能 AI 设计的机型：8xA100 GPU + 8x200G Infiniband 。Meta 在 2022 年公布了自己万卡数量的科研集群 RSC：这些产品的设计都是明显为了高性能 AI 计算来提供的 。
文章插图
对于提供基础设施的供应商来说，AI 计算是一个新的机会，也是一个关键的时机，需要重新审视长期提供通用云服务而形成的思维模式 。
AI 计算未来可期
本来想写得通用一些，但是一写就写得很技术 。AI 领域永远不缺惊喜，原以为计算机视觉已经走到了尽头，忽然 AIGC 柳暗花明又一村；原以为 Stable Diffusion 已经审美疲劳，忽然 ChatGPT 又打开无数的应用 。
最后没什么可说的了，作为一直战斗在 AI platform 一线的老兵，用 Richard Sutton的一句话来做结语：
The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin.
Richard Sutton: "The Bitter Lesson"
Bon voyage.
== Credits ==
题图: Unsplash
https://unsplash.com/@andyadcon
直升机图: Stanford University
蜡纸图: Taobao
【工程与产品的胜利，深度剖析ChatGPT和聪明地设计基础架构】
推荐阅读
- 肖战|肖战大男主剧启动，被爆与张译、陈道明合作，人设完胜魏无羡
- 关晓彤|曝关晓彤已怀孕，与鹿晗520领证结婚
- 如何推销产品给客户话术?如何推销自己的产品?
- 张译|张颂文李健参加庆功宴，张译未参加疑似与剧组闹翻，实体书被除名！
- 网络推广产品策划怎么做，网络推广作用和主要技巧
- 电子邮件营销成功案例，电子邮件如何推广产品
- 服务器有什么作用，服务器的作用与功能
- 怎么优化网站代码，页面代码优化与网站推广技术
- 四川大学考研分数线2020年！四川大学测控技术与仪器研究生分数线?
- 薛凯琪|薛凯琪近照被批粉太厚，晒与闺密阿娇合照掀热议