Tranquility 在 【求助】工具调用xml格式如何向openai格式转换 中发帖
大佬们好,目前遇到一个问题,用 Xinference 管理 Vllm 部署了Qwen Coder 30b awq 量化版本,我需要工具的调用,期望输出标准的 openai 格式,但是实际输出的是 xml 格式的工具调用,请问如何操作,是在启动参数里修改,还是写个中间的转换服务?亦或是有什么更好的方法?🤔