最近在写一个api中转程序，因为对接的渠道api有tokens限制，我已经提过了，但是还是有人动不动提交几十万token(gemini级别的)请求，然后拿着报错问我什么情况，之后我想不如自己来写吧，搓了一个自动清除超出上下文的处理，之后就遇到一个问题，怎么去计算不同模型的token？因为不同模型他的分词器似乎还不同，我目前是使用gpt-tokenizer来固定计算，还有什么更好的处理吗？