rick 在【尝鲜记录】2080ti 部署qwen 和 deepseek 中发帖部署了几个模型在2080ti 上尝尝鲜 api https://ollama.kici.me/ webui https://webui.kici.me 试了下 deepseek 67b 勉强能跑 qwen2.5:72b 勉强能跑但是太慢了 qwen2.5-coder 7b 小模型居然也还行放了几个模型玩玩明天估计g [image] curl --location --request POST 'https://ollama.kici.me/v1/chat/completions' \--header 'User-Agent: Apifox/1.0.0 (

rick 在【尝鲜记录】2080ti 部署qwen 和 deepseek 中发帖

部署了几个模型在2080ti 上 尝尝鲜 
api https://ollama.kici.me/ 
webui  https://webui.kici.me 
试了下 deepseek 67b 勉强能跑 
qwen2.5:72b 勉强能跑 但是太慢了 
qwen2.5-coder 7b 小模型居然也还行 
放了几个模型玩玩 明天估计g 
 [image] 
curl --location --request POST 'https://ollama.kici.me/v1/chat/completions' \
--header 'User-Agent: Apifox/1.0.0 (https://apifox.com)' \
--header 'Content-Type: application/json' \
--data-raw '{
    "model": "qwen2.5-co...