Token 是要花钱的。上线后如何把成本和滥用风险控制住？
▲ 动画演示 · 拖动底部播放条可暂停/回看
主要是模型调用费，按 Token 计。对话越长、调用越频繁、模型越大，越贵。先搞清楚钱花在哪。
常用手段：相同问题缓存复用、给每个用户设调用配额（限流）、能用小模型的地方别用大模型、压缩上下文。这些能把成本砍下来一大截。
本节小结：成本意识要从一开始就有。上线后一个失控的循环可能让账单暴涨。
Your email address will not be published. Required fields are marked *
Comment *
Name *
Email *
Website
Save my name, email, and website in this browser for the next time I comment.
Notify me of follow-up comments by email.
Notify me of new posts by email.
Leave a Reply