使用cc、codex优化了快1个月了，模型指标还是不行。感觉大模型也在瞎尝试，没有思路。 
求佬友们提供些调参或优化经验，求求了 🙏 
如果问题有描述不清楚的地方，麻烦佬友们再提问 

任务：二分类 
数据集： 
数据集大约有6000条，经过测试后发现，训练集：验证集：测试集比例为0.7：0.1：0.2时，三个数据集的正样本比例基本在33%-25%，数据偏移问题较小，故选用此划分比例。 
特征：语义特征（基于注意力机制、预训练模型提取）和固定特征10维（基于统计或其他工具提取） 
基线模型：使用常规的二分类模型，如svm、catboost，acc达到0.8，F1达到0.7 
主模型的分类器使用mlp，性能比基线差，acc0.67，f10.6。如果移除主模型中的语义特征，性能更差。期望主模型的acc达到0.85，F1达到0.75以上。 
训练过程：每个epoch训练完一轮，就验证，并给予验证...