哈哈 (@stupidfish)如何调用langchain对LLM进行token直接进行外推 中发帖

问题
众所周知,LLM是对user和system的prompt进行预测
那么比较有意思的是,那能不能让LLM生成完某一个段后立刻中止掉呢?
换个问题
能不能调用langchain更底层的api让LLM直接对token进行外推
这样就能得到非常稳定可控的续写能力
从抽象的意义上讲,也算是让人和LLM能真正的流式交互。
反正原理是这么个原理,但是langchain和网上对这个介绍几乎为0,这也是我想咨询各位大佬的问题:有没有对应的langchain API,能直接调用LLM 外推tokens的能力 🙁