gaojh (@rTomcat) 在 qwen-vl 怎么用vllm部署啊,多模态好像不管用一样!!! 中发帖
佬友们
现在有一个微调后的qwen-vl-7b
我现在现在用 Transformers 加载起来 并发下我看Transformers 默认是队列跑的
现在想支持多线程 打算用llm 但现在用llm起来 多模态就像是失效了一样,指令和回答完全是乱掉的
网上都说不支持啥的 有没有佬友有经验,或者其他方案能线程