古德蕉 (@s0nder) 在 关于使用大模型对文本质量进行评估的问题 中发帖
想请教一下各位做数据开发和算法的大佬是如何对某一领域(比如科技、经济等领域)的文本质量进行评估,目的是过滤出高质量的文本。我做了如下尝试:
1 用大模型
我自己构造了一个零样本提示的提示词,主要让大模型对以下几个标准(维度)进行评估来判别一个文本质量的好坏:
主题相关性(0-5分)
结构完整性(0-5分)
论证逻辑性(0-5分)
内容质量(0-5分)
…
最终等级(A-D级别,A为优秀)
这个方法很吃大模型的语义理解和指令遵从的能力,目前跑了几百条,效果可以说是比较一般,可能是我提示词里写的东西不够清晰有关,比如我自己构建的关于 经济领域 的文本质量评估的提示词:
# 角色
你是一个内容质量评估专家,能够深入理解文章主题思想,评估所提供内容是否属于经济主题,并对符合经济主题的内容进行质量评分。
文章:
## 评估流程
### 步骤1: 主题判定
判断内容是否归属于以下经济主题范...