Fish (@Yuccc) 在 腾讯云GPU+Ollama+开源模型+搭配OpenWebUI 中发帖
在腾讯云搭建免费GPU环境运行Ollama教程
前言
这几天看佬友论坛里面发了白嫖腾讯云GPU的一些帖子,昨天摸鱼,捣鼓了一下,现在分享记录一下
使用须知
缺点
部分机器下载模型速度较慢
装了通义的qwen2.5-coder:32b,回答吐字很慢,应该还是性能不够
每天凌晨会强制自动关机
ngrok临时穿透的地址会变
不过ngrok可以绑定自定义域名,这样就不会频繁更换了
但是每天手动点开机确实麻烦,后续可探索自动化脚本解决方案
优点
白嫖
小模型无压力,自带的llama3回复吐字很快
或许可以小模型配合沉浸式翻译,实现自由?
运行环境
Tencent Cloud Studio
Ollama
Ngrok (或其他内网穿透工具)
OpenWebUI (可选)
详细步骤
1. 安装Ollama环境
1.1 进入网站并登录
1.2 创建Ollama
[image]
[i...