@fr4ndyagently中的 Agently Instant模式实现原理 中发帖

今天看课程,正好看到这个国产框架,然后有一个特性让我很好奇其中原理 
流式输出和结构化数据输出的矛盾
在我们进行基于语言模型进行应用开发时,在单次请求中,进行流式输出或是结构化数据(如JSON)输出,二者之间往往只能选其一。其实原因也很好理解,在流式输出过程中,模型不可能生成标准、封闭的结构化数据,再加上部分模型在生成结构化数据内容前后,还可能加上对生成内容的解释说明或是装饰符,这些情况,都指向了一个结论:我们很难在流式输出过程中,对结构化数据进行解析,只能等待模型给出完整输出的结束信号后,才能获得相对可靠、安全、完整的结构化数据。
按照传统思维,我的实现方式是监听每一次得到的输出内容,然后和匹配相符,那么新启一个变量,进行存储,但是怎么结束呢,如果是指定的数据结构,比如json,那就是找markdown的```符号。
这个项目感觉更强大,python写的代码,想着了解完逻辑,能不能在...