首先说明并不是GPT-Load官方实现。 
最近似乎都在讨论截断的问题，我也老遇到这种情况。但我又懒得折腾去部署上游服务，所以我就想能不能直接在GPT-Load里面改就完事了。不对这块了解不深，还希望佬们指出。我相信这肯定不是最优方案不然为啥还要各种部署上游服务呢。 
鸣谢


https://linux.do/t/topic/836702 


方案
目前采用的是佬们说的添加prompt。就是在请求的时候添加finish token，然后判断回的内容是否包含finish token，若不存在则尝试多次请求。 
这个是基于Gemini-Antibock的方案来实现的。 
使用
按照GPT-Load的部署文档部署就好了，需要变更的就是镜像地址。 
ghcr.io/kalifun/gpt-load:latest

注意注意注意
这次主要是个人修改使用，并没有像佬一样有足够的测试，可能会有问题。...