Kai (@Ambition) 在 如何批判性评价研究? 中发帖
科学和统计研究必须用批判的眼光阅读,以理解其主张的可信度。可重复性危机和元科学的发展表明,许多研究质量低下且往往存在谬误。
但任何研究都可能存在无数潜在的可批判之处,这些批评往往达不到一个难以企及的理想标准,导致我们难以区分哪些批评是重要的,哪些可能沦为空洞的修辞。如何将致命缺陷、遗憾的局限与牵强的挑剔区分开来?
我提出一个实用标准:一项批评的重要性取决于修正后能在多大程度上改变研究结果,进而改变我们的决策或行动——即它是否构成“产生差异的差异”。
这就是为什么研究欺诈、因果推断问题或导致高估的偏差普遍重要:若一项“因果”效应实则为零或被严重高估,几乎所有基于此研究的决策都将被颠覆;而另一些问题(如测量误差或分布假设)虽然同样常见,却通常不重要——因为它们对结论的影响较小,因此对决策的冲击也有限。
若我们常问“这项批评是否会产生实质性影响”,便能更清晰地辨别重要批评与干扰性修辞,...