晴 (@Vitali)大模型微调求建议 中发帖

刚才微调了一下 Qwen2.5-1.5B-instruct  用来生成 诗 词 和儿童睡前故事   但是效果不好  希望各位大佬提点建议 
数据格式
故事:
[image]
就是网上爬的睡前故事,一条数据生成两个训练数据,一个是根据开头续写 一个是根据题目生成
诗 和 词 也是一样
效果:
[c7cf3cea5af18d762d527cd3d678116]
[197b2bc986ffe29f84746c7b43dd86a]
[ea00ebd8730761e932e329ef561ccd1]
故事数据没有注意 还有网址
怎么能提高效果呐 训练了700个step
损失
[37afce75dd383096ac6468fc271cbce]
求教 谢谢各位佬