mikey (@mikeee) 在 cc糊的python:5分钟测上下文长度 中发帖
例如 v0 bug team 的 v0-1.5-md:python effective_context_length.py --model v0-1.5-md
[image]
但好像有bug,坛子里某大佬的 z2api GLM-4.5:python effective_context_length.py http://127.0.0.1:909 0/v1 --model GLM-4.5 --api-key sk-your-key --max-tokens 951000 --min-tokens 950000
[image]
不太清楚 cc 用的啥算法,它自己找的,可能 Needle in a Haystack 之类的,没仔细看