Global Feed Post Login
Replying to Avatar 厂长

有关chatGPT的api成本节省(token开销降低)探讨:

在会话1中,我已经连续和chatGPT聊了10几条记录,然后就出现截图上面token超出4096限制的情况,对方不再应答了,我新开了一个会话,不仅得到了回答,而且token开销还急剧减少:从4000+降低到441!两次问题一样,但是api开销(金钱成本)相差10倍!我猜测和上下文有关系:越复杂的上下文,chatGPT投入的token越多,这也从侧面说明他会充分考虑当前会话的上下文,而不是每句话都没有之前的记忆。

token是chatGPT用来计费的标准,他会把你的问题进行拆解,拆成“计算单元”,一个计算单元就是一个token,越复杂的问题,token开销越大,1000 token = 0.002美元

Avatar
🐝𝔼𝕥𝕙𝕒𝕟.𝚪🌄 2y ago

token 是包括所有的文字的,你轮递输入的,它所有回答你的都算。你开新会话,就是重新计算 token。

就是它被人为限制了,不会记住你们的对话。现在的方式就是每次来回都把之前的内容全部再提交。所以几个来回,就超4000了,如果纯中文,好像更少,是2048。

Reply to this note

Please Login to reply.

Discussion

Avatar
Zhongtian 2y ago

感谢分享

Thread collapsed