想要更好的阅读体验，欢迎到我的网站阅读：《从零开始的OCR-0——基础篇[Fine-Tuning]》。 

从零开始的OCR-0——基础篇[Fine-Tuning]

学习目标：理解 Pretraining 与 SFT 的区别 → 掌握 SFT 数据构造、Loss Mask 与训练流程 → 理解 Full Fine-Tuning 的参数更新及显存开销 → 掌握 LoRA、QLoRA 的原理与实现 → 了解 DoRA、AdaLoRA 等改进 → 手撕 LoRA + 简单 SFT 训练流程。 
难度：⭐⭐ 
重要性：⭐⭐⭐⭐⭐ 
昔日修行，皆为参悟前人遗留的万千法则。然而纵有通天之术，亦未必契合自身之道。如今，以微末之力重塑经脉，以寥寥参数撬动万千神通……无需推倒重来，亦可破境新生。 

Fine-Tuning等概念是什么？
简单一点，就是模型已经有了一定的通用能力。但是我们想要他在某一个“...