浪里小白条 (@hashnode) 在 关于AICNN的token计算代码,以及回应 中发帖
talk is cheap show me the code.
代码里面没有秘密
针对佬友们对token计算的质疑,这里贴出计算代码
网站做的比较早,GPT刚出的时候就做了,那时候大部分人还不知道token是什么概念,所以取的字(实际计算的是token),也就将字一直延续至今,那时候也没什么token计算工具,所以用的langchain4j计算token
token计算的代码如下
具体版本
[image]
OpenAiTokenizer
[image]
[image]
[image]
为了应对deepseek的并发这里用的硅基的prokey(为什么不用deepseek官网的,因为最近官网太火爆,响应慢,影响体验,故未用),以及我们公司的某某云部署的满血r1(当然不是白嫖,我也是自掏腰包的),公司的云环境为了防止思考过长,至于为什么截断,我也不清楚,可能是有一个回...