浪里小白条 (@hashnode) 在 关于token计算的调研和调整 中发帖
经过最近的调研,本篇从四个角度,验证在springboot中计算token的方法。分别从按字符数、langchain4j,以及某网页的计算token结果进行分析。
测试环境:
Java 21
SpringBoot 3.0.13
操作系统:Mac
所用的计算token库
langchain4j 0.30.0
jtokkit 0.4.14
以及字符计算方法
测试用例:
[image]
先附上测试结果:
openai官方返回的token数:33
langchain4j计算出来的token数:40 约比官方返回的多出21%
JTokkit计算出来的token数:36 约比官方返回的多出9%
计算字符数得到的token数:67 约比官方返回的多出103%
[image]
某在线网站的测试结果( 约比官方返回的多出103%):
[...