Aezir酒馆常见问题之简析AI输出截断 中发帖

前言
之前购入了僵尸毁灭工程,可惜楼主太菜光速立场(求大佬带),并捡起舒适区的操作——部署酒馆(SillyTavern)。哪成想非常上头,也遇到了各式各样的问题。众所周之,色欲是最好的老师。如下是我在色欲的驱动下狂野输出的系统总结,给同样折腾酒馆的佬友作为参考。
主流原因
Token长度限制
到达Context Window上限:没办法,已经到顶了!模型实力总共就能同时处理这么多token!
到达max_tokens上限:消耗的token长度到达你设置的上限,可以调整看看避免截断。当然,作为下有概念的max_tokens不可能比上游Context Window上限高。就算设置成35亿,Context Window达不到也是没有用的!




字段/概念
长度
定义
上限




prompt_tokens
输入长度
输入消耗的token
max_tokens仅限制输出长度,输入长度由...