上次发了「落笔」（小说去除AI，自己微调模型，过朱雀检测），这段时间把模型从头重训了一遍，简单记录一下思路，顺手把 4B 版本开源了。 
权重：https://huggingface.co/gugujiji/novel-humanize-4b 
在线：https://luobi.18283745.xyz（8B权重整理好开源） 
 [image] 
在之前（SFT）的基础上加入了强化学习，更像人类的偏移。 
没有怎么清洗数据集，现在数据集里还有很多脏数据，所以4B或者8B的模型出来之后还有很多错误。语义错误及错别字等。需要使用deepseek的参数量多的llm模型进行二轮修正。 
小技巧，如果温度为1改动太少的话，可以调整为1.15.