1.基础知识
1.1 什么是本地部署
本地部署就是通过个人或者企业通过消费级设备或工作站设备，将云端开源大语言模型部署到本地私有化设备上的过程 
1.2 本地部署所需的环境
硬件层面：一般而言需要一张消费级显卡，消费级显卡上满足显存≥16GB的显卡都可以适用本教程。具体见下表 




显卡厂商
起步型号
注解




Nvidia
4060 Ti 16G / 5060 Ti 16G
起步型号容易出现带宽瓶颈


AMD
7800 XT
需要使用 ROCm，入手难度较大


Intel
A770 16G
需要使用 Vulkan，入手难度较大



软件层面：常用的推理后端包括vllm，sglang，llama.cpp等。最适合本地消费级显卡部署的后端是llama.cpp。 

关于llama.cpp,市面上的两款比较火的chat desktop软件ollama/lm studio都是基于l...