浪里小白条 (@hashnode)关于token计算的调研和调整 中发帖

经过最近的调研,本篇从四个角度,验证在springboot中计算token的方法。分别从按字符数、langchain4j,以及某网页的计算token结果进行分析。 
测试环境:


Java 21


SpringBoot 3.0.13


操作系统:Mac


所用的计算token库

langchain4j 0.30.0




jtokkit 0.4.14




以及字符计算方法

测试用例:
[image]
先附上测试结果:
openai官方返回的token数:33
langchain4j计算出来的token数:40 约比官方返回的多出21%
JTokkit计算出来的token数:36 约比官方返回的多出9%
计算字符数得到的token数:67 约比官方返回的多出103%

[image]
某在线网站的测试结果( 约比官方返回的多出103%):
[...