闲云野鹤 (@DiscoveryH2)把小模型调到顺手:经验分享 中发帖

各位佬们晚上好啊,本人最近开始迷恋上了炼丹,虽然过程中屡屡碰壁但也算稍微总结了一点经验所以就想分享一下 
1. 先准备什么硬件和系统
最低建议


系统:Linux 或 WSL2


Python:3.10 或 3.11


显卡:NVIDIA


显存:8GB 起步


更实际的建议


8GB 到 12GB:优先 0.5B 到 1.5B 小模型,尽量短序列,必要时走更省显存的配置


12GB 到 24GB:1.5B 到 7B 的 LoRA/QLoRA 基本都能试


24GB+:可以训练更长上下文、更大的 batch,调参空间也大很多


强烈建议
如果你现在是原生 Windows,本地训练不是不行,但坑会更多。
更稳的顺序是:


Linux 服务器


WSL2


最后才是原生 Windows


原因很简单:训练栈大多数先照顾 Linux。

2. ...