大军 (@tonyjun) 在 xinference vllm 的奇怪问题 中发帖
环境信息 ubuntu 24.10, python 3.10, xinference 1.7.1 + vllm 运行 deepseek-r1-distill-qwen 14b 和 32b , xinference 命令行启动. 所有都正常, 聊天也正常.
就有一个奇怪的问题, 对话文字以 df -h 或 du -h 打头就抛错, 它们在语句中间都没事. 出错如下, 有大佬见过吗?
2025-07-09 16:55:09,961 xinference.api.restful_api 24086 ERROR Handling request http://10.46.25.110:9997/v1/chat/completions failed:
Traceback (most recent call last):
File “/home/greatwall/minicond...