@LeftRigid 在 手动修复RagFlow的vLLM重排模型调用问题 中发帖
在使用RagFlow 0.17.2版本镜像尝试调用vLLM部署的重排模型(例如BAAI/bge-reranker-v2-m3)时,可能会遇到一些小麻烦,界面上会弹出以下错误提示。经过排查,这通常是RagFlow调用逻辑的问题,而非vLLM部署的锅!
[image]
如果你也遇到了类似问题,除了耐心等待官方版本更新或者尝试切换到nightly发布通道镜像外,这里还有一个临时的解决方案——手动修改容器内的代码。可以参考以下PR中的思路。
Fix: rerank with vllm issue.
接下来,我将以Docker Desktop为例,带你一步步完成操作。如果你不熟悉Docker Desktop也没关系,等效的操作可以询问ChatGPT,或者直接使用docker exec命令,效果是一样的。
首先,让我们打开Docker Desktop,找到RagFlow的容器列表,准备开始我...