公司的一些立项调研，因为LLM延迟的问题，很多场景不得不毙掉LLM环节，或者异步（效果仍然不好）、Rerank（枚举值需要预先喂进去）。测试的时候虽然可以接受，但私下交流的时候评估肯定是没法支撑生产的。 
jev把决策过程压缩到了300ms以内，本身RAG检索出相关上下文也是非常快的，这样一个自动化流程的延迟完全可以从以前的10秒以上压缩到1秒级别。 
并且后续必然会有类似的模型涌现出来，这样即使为了准确性和健壮性引入多家模型共同决策，整体延迟也非常漂亮。企业内的初级岗位，越来越危了。 
 [image] 
[image]