Eurus (@twentythreechen) 在 Strata的API服务应当如何复用提示词缓存? 中发帖

公司想要本地跑模型,比较看重并发性能。我初步想法是部署多个strata实例,分别为不同的公共提示词复用缓存。现在有些问题想要请教佬们 
背景:我现在使用的是Strata的Appimage版本

据我观察,应用版本的strata貌似只能存在一个缓存。无论是应用内部对话还是API对话,只要提示词前缀发生变化就会更换缓存,然后在监控中的缓存复用就会变为0。确实是这样吗?
我在应用内部对话时,缓存能够正常复用,但是我使用API服务去请求时,缓存永远都是0,无论我怎样拼接message列表。我问过AI我使用API请求和客户端内请求还有什么区别,即使补全这些区别,也不会复用缓存
因为我还没成功实践,所以想问问佬们,佬们觉得对于我这种生产环境场景,想使用多个strata实例,或者在strata内部开多个不同模型实现多个不同部门的专属Agent可行吗?