厂长 on Nostr: 有关chatGPT的api成本节省（token开销降低）探讨： ...
有关chatGPT的api成本节省（token开销降低）探讨：
在会话1中，我已经连续和chatGPT聊了10几条记录，然后就出现截图上面token超出4096限制的情况，对方不再应答了，我新开了一个会话，不仅得到了回答，而且token开销还急剧减少：从4000+降低到441！两次问题一样，但是api开销（金钱成本）相差10倍！我猜测和上下文有关系：越复杂的上下文，chatGPT投入的token越多，这也从侧面说明他会充分考虑当前会话的上下文，而不是每句话都没有之前的记忆。
token是chatGPT用来计费的标准，他会把你的问题进行拆解，拆成“计算单元”，一个计算单元就是一个token，越复杂的问题，token开销越大，1000 token = 0.002美元
Published at
2023-03-04 11:19:03Event JSON
{
"id": "81aef4dfc6d3f8dd80868f55448e3f26cad563d061d68b80eef606b4582d1640",
"pubkey": "c5f89617eafa35b0bfe08b610832b2e5398e33887d4348dc9da1978ada02cca4",
"created_at": 1677925143,
"kind": 1,
"tags": [],
"content": "有关chatGPT的api成本节省（token开销降低）探讨：\n在会话1中，我已经连续和chatGPT聊了10几条记录，然后就出现截图上面token超出4096限制的情况，对方不再应答了，我新开了一个会话，不仅得到了回答，而且token开销还急剧减少：从4000+降低到441！两次问题一样，但是api开销（金钱成本）相差10倍！我猜测和上下文有关系：越复杂的上下文，chatGPT投入的token越多，这也从侧面说明他会充分考虑当前会话的上下文，而不是每句话都没有之前的记忆。\ntoken是chatGPT用来计费的标准，他会把你的问题进行拆解，拆成“计算单元”，一个计算单元就是一个token，越复杂的问题，token开销越大，1000 token = 0.002美元\n\nhttps://i.imgur.com/3jg5Ljn.jpg",
"sig": "3b471c0564f9542b001883f0318e5fcfa37f76956d0d23823b9cc11d9b70756f5eb43bc50cac3dbf21a2e182479a6d844ccac66220232c670277fb947ceabcd1"
}
