Henson (@zhangheng)关于模型缓存的优化讨论 中发帖

我看了一下vllm的源码,发现现在的kvcache已经能使用cpu来进行一部分数据的缓存了,我又看了deepseek的官方文档,他们做了磁盘级别的,那我们如果给vllm进行一步拓展是否也可以做到磁盘缓存呢,或者使用内存呢,反正我的服务器几百G的内存