@kingstacker 在 偏僻农村无网(不是)本地ai模型部署操作手册(LM studio+zotero+Ttime,小白爽玩本地模型) 中发帖
前言
随着大模型的发展,家中组装的台式电脑部署大模型成为可能。
电脑配置:4060显卡8G。
为什么要本地部署?
本人主要用于翻译(英文蹩脚),你也可以隐私聊天(模型精度取决于电脑配置),无网环境也能流畅使用。
流程
LM studio模型部署
LM Studio 是一款桌面应用程序,可在您的计算机上方便的运行本地大型语言模型(LLMs)。
比Ollama用着爽些。
软件下载地址:lmstudio.ai/
[image]
模型下载
安装好软件后,首先需要下载一个模型,基于显卡限制(4060而言14b的模型已经token吞吐2个/s,太慢了),用7b左右的模型是合适的,随便选择一个模型。
这里使用阿里最新的Qwen3 8B模型(即可推理也可不推理的模型)。
搜索Qwen3 8B模型并下载。
[image]
下载完毕后在当前软件中就可以直接使用了。
[image]
设...