advent (@OceanTHU) 在 寻找最快模型(API) 中发帖
用来做上下文压缩的(这个上下文非常小,大概就是十条左右的日志),奈何模型太小了,上下文长了之后性能不佳,所以想后台实时挂一个小模型,每十步左右做一次快速压缩。
想问一下目前最快的模型是哪个?(效果暂时不管)
用来做上下文压缩的(这个上下文非常小,大概就是十条左右的日志),奈何模型太小了,上下文长了之后性能不佳,所以想后台实时挂一个小模型,每十步左右做一次快速压缩。
想问一下目前最快的模型是哪个?(效果暂时不管)