@qiu-lu 在 关于Agentic 应用的问题 中发帖
关于目前爆火AI Agent,请教大佬们几个问题:
1, 目前有哪些开源的agentic 应用(不是框架)可以作为好的学习素材。
2,类似cursor 等这种应用,从你发送到接收到第一个字的回复开始,速度很快,这是怎么做到的。自己使用过langchian 搭建过非常简单的体验应用,真实运行速度偏慢,用的还是本地vllm 搭建的模型。如果cursor这种,一次请求中应该涉及到了多次的深度请求(比如任务分解,mcp调用,文档检索,Human-in-the-loop等),回复速度依然很快,到底是怎么做到的?
3,这个困扰了很久,使用通义千问等的网页端的时候,模型回复可以暂停。想问的是,暂停后,到底是前端停掉了(背后模型没有停),还是模型也不输出了。如果仅仅是前端停掉那么模型继续的token是不是没有被计费的?
以上问题除了最后一个查过之外,其他都了解过,没有收到满意的答复,看看佬友们怎么...