@midakosar对于 Android 等边缘设备来说,LlamaEdge 比 mlc-chat 更好 中发帖

以下是使用 WasmEdge 安装 LlamaEdge 并运行 DeepSeek-R1-Distill-Llama-8B 模型的简要步骤,以及与 Ollama 的对比和资源效率分析: 

🛠安装步骤(以 DeepSeek-R1 8B 为例)

安装 WasmEdge 运行时


curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash -s -- -v 0.14.1



下载模型文件


curl -LO https://huggingface.co/second-state/DeepSeek-R1-Distill-Llama-8B-GGUF/resolve/main/DeepSeek-R1-Distill-Llama-8B-Q5_K_...