有关chatGPT的api成本节省(token开销降低)探讨:

在会话1中,我已经连续和chatGPT聊了10几条记录,然后就出现截图上面token超出4096限制的情况,对方不再应答了,我新开了一个会话,不仅得到了回答,而且token开销还急剧减少:从4000+降低到441!两次问题一样,但是api开销(金钱成本)相差10倍!我猜测和上下文有关系:越复杂的上下文,chatGPT投入的token越多,这也从侧面说明他会充分考虑当前会话的上下文,而不是每句话都没有之前的记忆。

token是chatGPT用来计费的标准,他会把你的问题进行拆解,拆成“计算单元”,一个计算单元就是一个token,越复杂的问题,token开销越大,1000 token = 0.002美元

Reply to this note

Please Login to reply.

Discussion

token 是包括所有的文字的,你轮递输入的,它所有回答你的都算。你开新会话,就是重新计算 token。

就是它被人为限制了,不会记住你们的对话。现在的方式就是每次来回都把之前的内容全部再提交。所以几个来回,就超4000了,如果纯中文,好像更少,是2048。

感谢分享

这个token 技术上类似各语言首先要进行分词,然后再下步处理,token就是分词的数量,不一定就对应一个字。

不知道有无理解偏差,之前大略看过 API手册,不一定准确。😅