@midakosar 在 对于 Android 等边缘设备来说,LlamaEdge 比 mlc-chat 更好 中发帖
以下是使用 WasmEdge 安装 LlamaEdge 并运行 DeepSeek-R1-Distill-Llama-8B 模型的简要步骤,以及与 Ollama 的对比和资源效率分析:
🛠安装步骤(以 DeepSeek-R1 8B 为例)
安装 WasmEdge 运行时
curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash -s -- -v 0.14.1
下载模型文件
curl -LO https://huggingface.co/second-state/DeepSeek-R1-Distill-Llama-8B-GGUF/resolve/main/DeepSeek-R1-Distill-Llama-8B-Q5_K_...