@histore 在 求佬们科普下模型输入输出缓存的知识,看下这个数据是否异常 中发帖
Token 明细:
输入 Token:67.085 亿
输出 Token:0.805 亿
缓存命中 Token:169.675 亿
主要是编程用,我这种数据是正常的吗
输入和输出的消耗比 200:1
缓存命中 token 比输入和输出加起来都多