@Derican 在 针对长文本结构化任务,有没有好的加速方法? 中发帖
现在的任务是从输入的试卷文本中切割出题目,由于不能假设用户上传的格式,所以写了个4k token的prompt来把各种题型和复杂情况讲清楚,现在质量是有保证,但是反馈说处理太慢了,因为要把用户输入全部塞给LLM。
和AI讨论了一下除了分片并行处理聚合之外好像没有什么别的trick了,佬友们有什么新点子吗 🥲