Global Feed Post Login
Replying to Avatar KK

你要自己微调,最好的Davinci模型,OpenAPI现在开的价是,训练1000个语素150sats,使用的时候1000个语素0.12 USD。

再配合一个微软Azure云的虚拟机来部署个界面吧,Linux单核系统,浏览器访问,这样子,每月固定成本应该可以控制在 13.14 USD。

这样子,数据还都是存放在OpenAI的数据中心。

如果你想在自己家里维护一个自己的模型,目前可以考虑的是LLaMA 13B, 需要两块32G显存的显卡,一台比较新的服务器,成本在十万人民币左右。

不过应该还可以再观望观望,相信不久之后,商业解决方案就应该有了。

Avatar
KK 2y ago

廉价方案出现了曙光: https://hub.bai.actually.cn/view/24829

斯坦福大学基于LLaMA 7B微调了一个Alpaca,成本600美金,再加上最新的4bit采样,一台强劲的PC就可以拥有你自己的类ChatGPT了

Reply to this note

Please Login to reply.

Discussion

Avatar
爱花 2y ago

好消息!不过像我这样懒的人应该会等有人试了之后跟风…👀

Avatar
Kis Sean 2y ago

https://alpaca-ai-custom3.ngrok.io/

我想翻译点东西,长一点点的都慢的要死,不知道是不是跑在核显上😅

Thread collapsed
Thread collapsed