现在美国AI公司把算力储备看作是拿AGI门票的首要门槛,我理解,这是错误的,你看Ds,Kimi都用较低的算力预算就完成了模型迭代。真正核心的是数据,特别是东方数据。。东方数据具有特别的思辨,又不失灵活。美国AI公司一直看不上中文数据,而且我的感觉可能恰恰是这个地方是美国AI大模型瘸腿的一环。

除此之外,合成数据的生成方面,这个里面学问极大,老美那边太迷信原始数据,大量原始数据,大力出奇迹,但是在合成数据方面非常鄙视,这个里面我们国内大模型花样玩得不要太好,很多合成数据是非常复杂的流程获得的,提取和萃取了人类和已知最强模型思维能力深处最精华的部分。这方面我可以说美国AI公司差距极大,具体例子我不好举,免得叫洋人学去了。

最后,在推理数据的获得方面,这个是目前最前沿的了,我们传统的认为搞点题库,搞点代码就能提高推理能力了,那是1.0时代了,现在早就净化到非常高的水平了,可以说推理能力的不断提高,是把模型最后的能力都榨干的最必要的一步。这方面中国大模型公司花样玩的不是一般的超凡脱俗。

btw,老黄说中国搞AI的100万人,美帝2万人,有点夸大了,我们还真不是靠人海战术取胜,实在是中国工程师太聪明了。。

Reply to this note

Please Login to reply.

Discussion

No replies yet.