cat3399 在 我想给自己学校,微调一个大模型,专门回答学校相关的问题 中发帖
我现在是爬了校园集市和贴吧的一些帖子和评论,把校园集市的求助贴筛选出来,然后提供标题+内容+回复 让大模型进行处理,总结问题和回答,再把结果放进qwen2.5 7b模型上面微调 总共300条问答数据
[image]
实际效果不太行,许多训练集里面的问题回答的都不好,是参数没调好吗,我在想,如果让结果过拟合,是不是更好一些,反正一个学校的数据就那些,我收集的数据基本上全覆盖了,模型的泛化能力不是很重要,而且这种特定领域的问题,感觉也泛化不了
有没有大佬推荐一下思路