张林 (@zhanglin) 在 deepseek-chat 接口好慢啊 中发帖
接口用上了工具判断。是这个导致的嘛,如果是的,我用它来判断工具岂不是,和我自己写的工具助手速度不是一样的嘛,我为什么还要用他的工具。
而且好慢了,输入在5条信息的情况下,到返回收到信息,一共
40多秒了。。。。。如果改成gpt的o4mini的话,只需要10多秒就完成了,最快的话,5秒就好了。
都是在有调用工具的情况下。对比。足足4-8倍速度的差距。。。而且 deepseek-chat 现在还变贵了。。。。
resp = client.chat.completions.create(
messages=messages,
model=openai_model,
tools=tool_list,
tool_choice='auto',
max_tokens=1000,
)