北京时间6月30日晚上11点半，美东时间上午11点半。

国内的热搜还在发酵，外网也开始动了。

最先动的是Reddit的r/machineLearning板块。

一个叫“throwaway_ai_2016”的用户发了一个帖子，标题是《dpx1.

5 from china: I ran the standard benchmarks and Im not sure what to think》。

帖子内容不长，但信息密度很高：

“我通过一个中国朋友搞到了邀请码。

在humanEval上跑了完整测试，dpx1.

5得分71.

8%。

在GSm8K数学推理上，得分64.

3%。

在mmLU上，得分58.

7%。

对比：Gpt-3在humanEval上是48.

1%，GSm8K是34.

2%，mmLU是43.

9%。

要么中国人做出了真正的突破，要么他们找到了某种取巧的评测方法。

但我在三个不同的benchmark上跑了三遍，结果一致。

如果这是取巧，那这个取巧本身就是一个突破。”

帖子发出来之后，前二十分钟的评论基本是同一个调子。

有人问“数据给我看看”，有人说“又是中国的pR项目吧”，有人直接甩了一个“lol”就走了。

前二十条回复里，十五条在质疑，三条在嘲讽，两条在要原始数据。

但到了美东时间下午一点，风向开始变。

一个Id叫“yann_lecun_fan”的用户发了一条长回复。

这人后来的身份被扒出来是某大厂AI Lab的研究员，在圈子里有点名气，平时不太发帖，但一开口就很有分量。

“我拿到了邀请码。

跑了五个维度：代码生成、数学推理、逻辑推理、中文理解、英文写作。

结论是——dpx1.

5在代码生成和数学推理上确实超过了Gpt-3。

不是一点点，是代际差距。

它的注意力机制明显经过了优化，长文本依赖处理得非常好。

我在一个两千token的上下文里测试了代码补全，它没有丢任何关键信息。

Gpt-3在这个长度上已经开始胡言乱语了。”

这条回复下面很快有人追问：“是不是用了什么新的架构？”

“不知道。

但从行为上看，它不像纯粹的transformer。

它的推理链更短，更直接。

可能是某种混合架构。”
本章未完，请翻下一页继续阅读.........