shanyuhai【开发日记】06-对话列表流式解析 中发帖

项目SamePage-AI核心功能实现后深度使用发现对话还有很多需要优化的地方。 
写在前面
最近基于对话能力测试时发现回复总是一段一段的出现,真是不抽打 AI 它就在偷懒啊,于是需要一次能力补全。
后端是基于 ChatOpenAI 包了一层,查看接口也没有任何问题,所以直接观测前端吧。
渲染优化

核心:减少不必要的渲染次数

原本是这样:
数据源每接收到一次 streaming delta,computed 就立刻重跑一次。数据返回太快,用户又不关心中间过程,自然可以联想到一些策略。
flush 策略

模型尤其是 flash 模型蹿稀式输出回复,可以对输出进行缓存。


固定间隔 flush:太短间隔用户视觉无法察觉,给定一个舒适的时间
结构边界 flush:从普通文本追加切换到换行、标题、列表块、代码块等其他块时需要主动 flush

复用策略

一个长的回答里可能会存...