学习

@文光围脖1

在华为升腾910A上训练了一个2B的模型，全开源（包括权重，训练数据，训练数据处理方法和工具，训练方法等），模型请见 网页链接 , 技术报告请见 网页链接 。后续会分两条线展开，一条是基于国产算力（如升腾910C）的全开源模型；另一条是朝低成本路线推进，比如基于5090 FP8训练的全开源模型，目标是将Qwen2 1.5B 水平的模型预训练成本低至3-5万元，让更多的人和组织可以开展大模型训练，将自身的私有数据训练到模型中，促进领域模型的发展[太开心]