@Tony32 在 DeepSeek新模型上下文小探（网页端） 中发帖
用GPT-5 tokenizer的结果
[image]
用DeepSeek-V3.1 tokenizer的结果
[image]
两个文件上传后提示截断到76%
[image]
用3.1 tokenizer计算的话，上下文约864.4K；
用GPT-5 tokenizer计算的话，上下文约1051K
是换tokenizer了还是留了更多输出token