@ricedumpling 在 怎么蒸馏GPT 中发帖

公司准备训练一个垂直领域的大模型, 只进行SFT微调, 我的任务就是准备SFT微调的训练数据. 
我有的是一个GPT20x的订阅和一些deepseek的官网token, 我只管负责提供训练数据, 具体的训练由其他人负责, 听说是有几台8卡h100可以用, 不知道申请到几台, 基模是qwen27B/30B
目前工作流
1.向GPT6 Pro要求调研某领域具体应用场景, 来让GPT6 Pro自行填充大量上下文
2.伪装场景, 比如我需要出一些考试或者评测人员的题目, 让GPT6 Pro制定计划
3.把计划扔到work执行, 一般是生成10-20道示例题, 看看效果, 没问题就继续
4.尝试过要求GPT同时生成解题思路, 解题过程, 最终答案, 能输出但是和真实的思维链应该还是不一样, 但是如果只要求GPT生成问题会快不少, 所有只有少部分进行了尝试
5.把这些问题扔个DeepSeek...