12年的时候，我是觉得手搓深度模型是合理的，学习的时候，吴恩达的课就包含一步一步的怎么一点点构建一个深度学习的代码。到了chatgpt我其实反对再谈手搓。gpt-2的时候，还好，大多数人都可以用单gpu环境去训练。现在，普遍用的哪怕是开源的模型，训练一次的成本都极度高昂。

chatgpt4据说几千万美金，gemini据说是1.91 亿美元。事实上独立的大模型已经是巨头的游戏了。是不是从头开源变得越来越没意义了。

训练大模型的成本已经要直逼造航母了