Fince两年前用来分辨gpt的bug现在依然可以在某些模型上复现 中发帖

之前有一个分辨gpt3.5/gpt4与其他模型区别的地方,就是gpt无法认识“artisanlib”这个token(脏token,好像是分词器导致的问题?),今天突然想起来测试了下,发现glm5和qwen系的模型无法认识这个词(glm5会直接当不存在,qwen会编成别的词),其他模型都正常