统计学与避免自欺的艺术

§1 两种统计传统

p 值检验为何容易产生概念混乱

这里有一个事实，足以解释许多统计困惑：许多理工科学生都接触过的标准「假设检验」其实是一种混合体。它把费舍尔式的证据衡量与内曼-皮尔逊式的长期决策规则糅合在一起，而这种混合经常制造混乱。

一边是 罗纳德·费舍尔 (Ronald Fisher)。在 1925 年的《研究工作者的统计方法》中，他提出了 p 值，将其作为针对单一零假设的一种非正式、连续的证据强弱指标，用来衡量数据与零假设有多不相容。他不需要备择假设，不需要拒绝域，也不需要长期重复抽样。他建议将 $p<.05$ 仅作为一个朴素的经验法则，即低于这一阈值时，结果开始值得进一步调查；他明确表示，如果你愿意，可以选择其他阈值。对于费舍尔来说，一个微小的 $p$ 是进一步研究的信号，而非必须「服从」的判决。他写道，零假设永远不会被证明，只是偶尔会「陷入尴尬」。

另一派则是 耶日·内曼 (Jerzy Neyman) 与 埃贡·皮尔逊 (Egon Pearson)。到 1933 年，他们的一系列论文形成了较完整的框架：把整个体系重塑为一种「决策规则」，而非证据衡量标准。你预先指定两个假设，提前确定你要控制的误报率（$\alpha$，第一类错误率）和漏报率（$\beta$，第二类错误率；检验功效 = $1-\beta$），事先设定决策阈值或拒绝域，随后按预先规定的决策规则行动：拒绝或接受。在预先规定的检验程序下，$\alpha$ 和 $\beta$ 控制相应的长期错误率；它们并不保证每一批研究中恰好有相同比例的错误。重点在于，它对眼前的单一案例「不提供」任何证据衡量——它只是一套具有已知长期属性的程序。内曼认为费舍尔的归纳「证据」谈论含混不清；费舍尔则认为内曼把科学变成了工厂的质量控制。两人的尖锐分歧持续了一生。

一旦你看清了这道接缝，整个复现危机读起来就完全不同了。我们取了一个灵活的、费舍尔式的「进一步研究信号」，将其冻结为内曼-皮尔逊式的「关卡」，剔除了内曼-皮尔逊体系中保证决策规则具有预定错误率的部分（预先承诺的 $\alpha$、充足的功效、真正的备择假设），然后只发表那些过关的研究。令人惊讶的不是有这么多研究无法复现，而是仍有部分结论经得起复现。

§2 偶然显著的数学原因

两个基本事实：偶然显著与重复查看

假阳性工厂并不是某种聪明的编程技巧。它建立在两个数学事实之上。只要掌握这两点，你就会明白为什么反复检验最终能让纯噪声产生看似显著的结果。

事实一：零假设成立时也会出现小 p 值

在零假设模型成立且其假设满足时，如果你对连续数据运行一个精确检验，得到的 p 值 就是一个 0 到 1 之间的均匀随机数。对于离散、复合或保守的检验，有效的 p 值 往往是超均匀的：$P(p\le \alpha )\le \alpha$，而不一定正好相等。这个限定并不会改变实际警告。在连续且校准良好的理想情形中，区间 [0, 1] 中正好有 5% 位于 .05 以下；在保守情形中，这个比例不会更大。但换个角度看，威胁就出现了：没有真实效应的规范实验也会纯靠运气交给你一个「显著」结果。以二十种方式运行实验——二十个结果变量、二十个协变量、二十个亚组——你实际上就是买了许多张小概率彩票。在一批不存在真实效应的检验中，预期能得到的「发现」数量，会被你查看的次数推动。

用实时面板观察连续精确检验的理想化情形。真实效应为零时，p 值 近似平坦分布，约有 5% 落在 .05 以下。调高「真实效应」，分布会向较小数值倾斜：真实信号会让极小的显著 p 值 多于勉强显著的 p 值。这种富集是文献中的脉搏；完全看不到它，就是一个警讯。

事实二：反复查看会改变错误率

正文中「假阳性工厂」的「可选停止」开关隐藏了一个本该更加著名的结论。假设你在每增加一名受试者后就进行一次检验，并在 $p$ 跌破 .05 的那一刻立即停止。无论是否存在真实效应，未经校正的反复查看都会改变检验程序的长期性质；在零假设成立时，误报风险尤其清楚地暴露出来。更准确地说，在零假设成立、反复查看结果且不作校正的理想化条件下，随着查看次数增加，最终越过固定显著性阈值的概率可以趋近于 1，而不是保持在 5%。Anscombe 在 1954 年证明了这一点，Armitage 等人在 1969 年进一步强调了它：只要反复查看的次数足够多，随样本增加而不断波动的 p 值 即使在零假设成立时，也很可能仅仅由于运气而跌破任何固定界线。

这就是为什么反复查看中间结果不仅是某种轻微的过失，而是一种结构性的漏洞——也是为什么第 4 日提到的 e 值 和随时有效检验是如此优雅的解决方案：经过正确构造的随时有效程序，在其模型和技术条件成立时，允许研究者根据已观察的数据决定是否继续采样，同时保持规定的错误率或证据保证。这也是为什么必须监测积累数据以确保安全的真实临床试验会使用$\alpha$ 支出 (alpha spending) 和成组序贯设计——它们会在每次中期查看时分配少量错误率预算，从而使总的第一类错误预算仍维持在 5%。未经校正的可选停止会破坏错误率控制；而通过支出规则进行的停止，则是 20 世纪统计学的重要成就之一。

§3 统计诊断

从已发表数据识别选择性报告

如果真实效应存在且研究具有一定功效，显著 p 值 的分布通常会包含较多的小 p 值；而 p 值操纵 更容易留下紧贴 .05 下方的堆积。于是，只需查看已发表的数字，就可以审查一个研究领域的已发表结果，而无需重做任何一个实验。这一认识催生了一个充满活力的统计取证领域。

其旗舰工具是 P-curve (Simonsohn, Nelson & Simmons, 2014 —— 没错，正是正文中提到的那三位)。收集关于某一效应的一组研究中的显著 p 值，观察它们的形状。当真实效应存在且研究具有一定功效时，较小的显著 p 值 通常会更常见：.01 较多，.04 较少。紧贴 .05 的异常堆积可能提示选择性报告或分析灵活性，例如不自然的 .04 和 .049 过剩；但这种模式本身不是研究不端的证据。

此外还有一些精心设计的反例演示，旨在揭示多重比较问题不容回避：

前沿校准器：P-curve 和这些取证工具已确立，可用作诊断手段——但它们检测的是「模式」而非罪行；即使不存在研究不端，发表偏差也可能产生类似模式，因此它们发出的是可疑信号，而非铁证。

§4 完整计算

显著结果的误报风险

现在我们来看一个本该印在每本统计教科书首页却几乎从未出现的数字。你进行了一项干净的研究，没有操纵，得到了 $p=.05$。人们很容易误以为：「只有约 5% 的概率这是个意外。」这个直觉是大错特错的，我们仅凭第 4 日的贝叶斯就能证明这一点。

p 值 回答的是 $\mathrm{P}(\text{数据}\mid \text{零假设})$，而研究者真正关心的往往是 $\mathrm{P}(\text{零假设}\mid \text{显著结果})$ —— 也就是看似亮眼的发现其实是假阳性的概率。架起这两者之间的桥梁需要一个「先验」：在看到数据之前，你的假设有多大的可信度？一旦你提供了一个现实的先验，误报风险往往会明显高于 5%。其逻辑与约安尼迪斯在其著名的第 2 日文章《为什么大多数发表的研究发现都是错误的》中所使用的一致：在给定先验概率、功效和 $\alpha$ 的模型下，误报风险 (false positive risk) 表示显著结果为误报的条件概率。

用计算器看看显著发现有多大比例可能出错：即使先验概率为 50% 且检验功效不错，长得惊人的假设仍可能带来很高的误报比例。

有两个细节让情况变得更糟，而非更好 —— 而它们正是这里的核心本质。

「情况比网格显示的更严峻」 (Colquhoun)。上述计算器使用整个 .05 「尾部」作为误报率。但 David Colquhoun (2014, 2017) 指出，一个恰好位于 $p=.05$ 的结果，在真实效应下发生的可能性几乎不比在零假设下更高，因此其误报风险比尾部显示的更高。在 Colquhoun 所采用的特定先验概率、功效和模型设定下，刚好达到 $p\approx .05$ 的结果可对应约 26% 的误报风险。这个数字不是 p 值本身的固定含义。如果要求真正的发现率，$p<.05$ 的阈值实在不够严格。这就是正文中提到的 Benjamin 等人推动将阈值收紧至 .005 的量化核心。

「零假设几乎从不完全正确」 (Meehl 的普遍微弱相关现象)。Paul Meehl 观察到，在大规模社会科学数据集中，「一切」都与「一切」存在微弱的相关性 —— 出生顺序与政治倾向、身高与幽默感 —— 因为世界是一个由微弱真实联系交织成的致密网络，他称之为普遍微弱相关现象 (crud factor)。因此，一个「精确为零」的点零假设其实是一个稻草人；只要样本量够大，你就能拒绝任何一对变量之间的零假设。此时「统计显著」仅证明了你的样本量够大，而非你发现了任何有意义的东西。这就是显著性与重要性是两码事的深层原因。

§5 替代与补充方法

更稳健的替代与补充方法

指出问题还不够，还需要给出可用的替代方案。以效应估计为中心的工具箱并不神秘——它由分别针对上述问题的一组方法组成。

S 类与 M 类错误

Andrew Gelman 和 John Carlin (2014) 认为，在我们实际身处的低检验功效世界中，经典的第 I 类 / 第 II 类错误框架没有涵盖这里最关键的问题。另外两种更尖锐的失败更重要。S 类（方向）错误 (Type S / sign error) 是指搞错了「方向」——结论认为某种治疗有效，实则有害。M 类（幅度）错误 (Type M / magnitude error) 是指「夸大倍数」——你的「显著」估计值比真实值大了多少倍。他们的论点直指正文中的「赢家诅咒」：在低检验功效研究中，被筛选为显著的效应估计可能明显高于真实效应；在某些设定下，夸大程度可达到数倍。已发表效应可能是被系统性放大的版本。

用等效性检验支持「无实质效应」

正文警告说「p > .05」并不意味着「没有效应」。但有时你确实想得出「这里没有什么有意义的东西」的结论，而你可以通过等效性检验 (equivalence testing; Lakens, 2017) 做到这一点。等效性检验先根据最小有实际意义的效应量设定上下等效界限，再检验真实效应是否落在这一范围内。双单侧检验（TOST）是最常用的方法之一。只有当等效性检验支持效应落在事先设定的等效界限内，才可据此排除具有实质意义的效应；单凭 p > .05 仍不能这样做。

多重检验与错误发现率控制

当你确实必须运行许多检验（每一个基因、每一个脑区）时，传统方法之一是 Bonferroni 校正——将 $\alpha$ 除以检验次数。Bonferroni 校正控制的是一组检验中至少出现一次第一类错误的概率，即族错误率。它通常较为保守，因此可能降低检验功效。Benjamini 与 Hochberg 于 1995 年提出的错误发现率控制方法，来自统计学中引用极高的一篇论文。它改变了目标：错误发现率控制的是反复采用同一程序时，在所有被判为显著的结果中，假阳性比例的期望值。这是一种务实的交易，它使大规模多重检验变得可行——接受少量错误发现，换取真正能发现东西的能力。

用「相容性区间」准确描述区间含义

最后是一个具有强大澄清能力的微小举措：Amrhein、Greenland 等人敦促将置信区间称为相容性区间 (compatibility interval) —— 即与你的数据和模型合理「相容」的效应量范围。这个词能同时消除两种错误：它能阻止你将区间内的数值视为已证明、将区间外的数值视为不可能，并促使你将整个区间作为一个关于「大小和不确定性」的陈述来报告，而非只看区间是否跨过零的二元判断。

§6 对显著性检验的辩护

检验严苛性与证据强度

如果以「p 值很坏，估计很好」作为结尾就太简单化了。公允和准确要求我们提供一个有力的反方观点，而哲学家 德博拉·梅奥 (Deborah Mayo) 提供了这一点。在 2018 年的《统计推断作为严苛检验》中，她用一个苛刻的原则为误差统计学推理辩护，回应废除派和贝叶斯派的批评。

只有在一项主张为假时，检验很可能揭示其错误，而这项主张仍然通过了检验，我们才获得了支持它的证据。

这就是检验严苛性 (severity)。换句话说，证据的分量不仅取决于结果是否与主张相符，也取决于检验是否真的有能力发现主张是错的。注意，这就是被量化后的第 2 日的波普尔思想。从这个角度看，问题的根源不在于 p 值，而在于对检验严苛性的背弃。通过数据钓鱼或反复尝试才得到的 p 值 毫无价值，不是因为它是个 p 值，而是因为那场「检验」从未严苛过：它几乎不可能得出其他结果。梅奥对改革者的警告很尖锐：如果丢掉所有门槛和错误控制，你得到的不是更细腻的科学，而是更缺乏问责的科学，对于一个主张何时可被认为经受住了较严苛的检验，将失去公共标准。正文所追求的较为稳妥的综合立场就存在于此：既不迷信 p 值，也不一概弃用，而是要求检验严苛性，报告大小和不确定性，并让错误假设有较大概率被检验排除。

§7 与下一日的联系

用硬币投掷理解 p 值

最后介绍一个简洁的转换，因为它悄悄地翻开了第 7 日的内容。Sander Greenland (2019) 建议我们不要只盯着单独报告的 p 值，而是取它的「惊异度」 (surprisal)，这直接借用了信息论的概念：S 值，定义为 $S=-{\log }_{2}p$。S 值把 p 值转换为以比特表示的惊异度，用来描述数据与受检模型的不相容程度。

这种转化非常具体。问：同一枚公平硬币要连续出现多少次正面，才能达到这种罕见程度？那个次数就是 S 值。一个 $p=.05$ 的结果带有约 4.3 比特，这一惊异度大致相当于公平硬币连续出现四至五次正面的罕见程度。一旦这样表达，魔力就消失了。连续四次正面朝上有点意思，但它算不上发现。

移动滑块，把任意 p 值 换算成第 7 日的信息单位。

换算表把常见的 p 值 转换成第 7 日介绍的比特惊异度。

实践指南

研究者的统计防错清单

从上文及正文中提炼出的精髓 —— 将运气转化为知识的举措：

• 预注册验证性检验。 在看到数据前明确主要结果变量、模型、样本量和停止规则。偏离方案或新增的分析应标为探索性分析。
• 始终报告效应量及相容性区间。 效应量及其不确定性「才是」结果；p 值 只是个脚注。
• 围绕最小实质重要效应规划样本量。 先设定目标功效，再计算检测这一效应所需的样本量；样本量不足的研究得出的「显著」结果很可能是虚高的（M 类错误）。
• 将你的 p 值转化为比特。 如果它只有几次硬币投掷的惊异度，请如实说明，不要过度推销。
• 检查跨合理分析的稳健性（模型设定曲线），并询问结果是通过了严苛检验，还是仅仅通过了一个「有利」的检验。
• 当必须测试许多事物时，控制错误发现率，同时说明族错误率和功效之间的取舍。
• 如果你想排除具有实质意义的效应，请进行等效性检验。 在你真正寻找过「不存在具有实质意义的效应」的证据之前，缺乏证据并不能证明不存在。

领域地图

十类新方法：按所解决的统计问题分类

按成熟度筛选这张图谱。绿色表示核心理论已经确立；琥珀色表示严肃且有前景但仍在沉淀；红色表示可能很重要，但当前也很危险。

下方图谱按十种 2020 年后方法所攻击的失败模式排序，并标出成熟度。

§1 允许持续查看数据的推断

随时有效推断：在持续查看下保持错误率控制

传统的固定样本检验非常脆弱，因为它假设你在看到数据前就确定了样本量。但现代科学并非如此。A/B 测试的数据持续流入。平台团队不断刷新仪表盘。临床试验有中期查看。实验室在第一批数据「几乎显著」时会增加受试者。传统固定样本 p 值 并不适用于这种持续监测环境。

随时有效推断 (anytime-valid inference) 改写了统计保证的适用条件。它不再使用仅在预设停止时点有效的 p 值，而是使用 e 值 (e-values)、e 过程 (e-processes)、随时有效的 p 值 以及置信序列：这些证据衡量标准和区间旨在对任意停止时点保持有效。在程序正确构造且假设成立时，研究者可以根据当前数据决定是否继续采样，同时保持规定的错误率或证据保证。

这并非装饰性的升级。它直接针对第 6 日提到的欺骗自己的核心机制之一：可选停止。2020 年后的前沿是「博弈论统计 / 安全的随时有效推断」语言的整合。它将证据视为与自然进行序贯博弈时的资本过程。如果零假设为真，这个资本过程就无法系统性地无限制增长；Ville 式不等式将这一逻辑转化为序贯检验和置信序列。

前沿校准器：相关理论已经相当成熟。实际风险在于文化层面：困难往往不在理论，而在团队仍沿用普通的固定样本 p 值。如果一个团队运行着持续监测的实验，却仍在报告普通的固定样本 p 值，那么其 UI 可能看起来很现代，但推断程序仍停留在 1930 年代的纸笔时代。

§2 为黑盒模型提供统计保证

共形预测与共形风险控制

共形预测 (conformal prediction) 是当前统计学 / 机器学习交界处一个简洁而重要的思想。研究者可以先训练预测模型，再留出校准数据，测量模型在这些留出数据上的错误程度，并利用这些错误的经验分位数为下一个案例构建预测集。无论底层预测器是线性模型、神经网络还是其他黑盒，只要校准数据和可交换性等条件成立，共形预测就可以在有限样本下提供边际覆盖保证。

但它通常不保证每个子群、每个输入点或分布偏移后的条件覆盖，因此实际部署还需要分组诊断和压力测试。2020 年后的前沿更为广阔：共形风险控制 (conformal risk control) 不仅仅询问「真实标签是否落在集合内？」，而是询问「我们能否控制选定的风险函数？」。在视觉和语言任务中，有用的错误指标可能是漏报率、图距离、暂缓决策的风险、检索遗漏率或词元级 F1。共形风险控制将共形思想扩展到单调损失，并实现了预期风险的有限样本控制。

这对 AI 系统尤其重要，因为输出往往不是一个简单数值。聊天回答、分割区域、医学影像标记和结构化抽取都不能只用「对 / 错」来概括。共形风险控制可以在黑盒模型外加上一层经过校准的直接输出 / 暂缓决策 / 转交处理 / 人工复核决策机制。在最安全的版本中，模型保持为预测引擎；而共形校准层则规定在什么条件下可以信任预测。

前沿校准器：边际覆盖保证可以在总体平均意义上成立；更难实现的目标是条件覆盖。在分布偏移下，经典的可交换性保证会变弱。最近的研究处理了加权和非可交换设置、条件式保证以及 e 值变体，但从业者仍需追问校准数据是否与部署环境相似。共形方法可以校准预测不确定性，但它们无法让一个糟糕的部署环境变得安全。

§3 使用 AI 预测并校正偏差

预测辅助推断：偏差校正是关键

AI 可以标记一百万个星系、卫星图像切片、病理切片、蛋白质记录或临床笔记。但从这些预测中得出的统计估计并不会自动具备有效性，因为模型误差不是无规律的录入噪声，而会沿着模型的盲区系统性出现。

预测辅助推断 (prediction-powered inference, PPI) 利用大量低成本模型预测提高估计效率，再用一小批人工或仪器核验的金标准标注校正模型偏差。关键是不把模型预测直接当成真值。金标准样本用于估计模型对估计目标造成的偏差，并形成一个偏差校正项 (rectifier)；大量预测则用于提高估计精度。模型预测越有用，区间通常越窄；如果模型表现较差，方法会退回到接近仅使用标注数据的结果，而不是让有偏预测主导结论。

PPI++ 通过适应预测质量提高了这一思想的效率。交叉预测辅助推断 (Cross-PPI) 则通过交叉拟合，在交叉验证的不同折中分别完成预测和偏差校正。其架构体现了一种典型模式：利用黑盒预测提高精度，但在校正步骤中建立统计保证。

它的主要限制来自实践条件。研究者仍需从目标人群中抽取具有代表性的金标准标注样本。不要因为某个变量容易由模型标注，就反过来改变原先的研究问题或估计目标。且如果标注集漏掉了模型失效的亚组，偏差校正项也可能会继承这一盲点。

§4 机器学习辅助因果推断

因果效应的双重／去偏机器学习

第 5 日的警告直截了当：相关性不等于干预。要从观测数据中估计因果效应，你必须调整混杂因素，同时又不能把复杂的非线性结构强行纳入线性模型。

双重 / 去偏机器学习 (DML) 让机器学习负责拟合高维辅助函数（统计文献中也称滋扰函数，nuisance functions），也就是为估计目标参数而引入的辅助模型，例如结果模型和倾向得分模型；再以正交得分和交叉拟合保护目标参数估计，降低辅助模型中的小误差对最终结果的一阶影响。

2020 年后的变化并不是 DML 在 2020 年后才被发明；事实并非如此。变化在于软件生态和应用实践逐渐成熟。Python 和 R 中的 DoubleML 实现、因果森林工作流以及生物医学异质性治疗效应综述，已经将「对滋扰函数作正交化处理」从研讨会术语变成了应用工作流。

前沿校准器必不可少：DML 降低了对辅助模型具体参数形式的依赖，但并不放宽因果识别所需的假设。如果用于后门调整的变量集选错、存在未测量混杂，或处理分配受隐藏变量影响，即使正交得分计算得很精确，估计得再精确，也可能不是目标因果效应。DML 解决的是灵活建模混杂关系，不能替代因果识别。

§5 探索后推断：校正选择过程

发现后的推断：选择后分析、因果发现与数据拆分

小径分岔的花园不会消失。现代分析往往始于发现：对细胞进行聚类、寻找亚组、选择变量、学习因果图、选择图像区域、选择变量变换方式、要求 AI 分析师「找出重要的东西」。关键错误在于使用同一份数据来发现目标，然后假装该目标是预先指定的。

选择后推断 (post-selection inference) 是统计学在正面计入选择代价方面的尝试。经典方法包括以选择事件为条件、将数据拆分为探索集和验证集、或构建考虑选择过程后仍保持覆盖率的同时置信区间。2020 年后的前沿增加了三个特别相关的想法：

前沿校准器：这并不容易，在预注册可行的情况下，它也不是预注册的替代品。但它是探索性科学值得继续发展的方向，因为科学不可能禁止探索；关键是后续推断必须计入选择过程。

§6 发布数据并非原始数据时

差分隐私：将隐私噪声纳入数据发布设计

开放科学想要数据共享。研究参与者、公司、医院和政府则要求保密。差分隐私是一种成熟而有力的形式化框架：它通过添加随机噪声，使得加入或移除任意一个个体对发布结果的影响都被限制在一定范围内。

对于第 6 日的内容，其中的统计要点在于：隐私噪声并不是一个文件格式的细节。如果你把经过差分隐私处理的统计数据或合成数据当成普通观测值来分析，你的区间可能会过窄，不确定性会被低估，显著性判断和区间估计都可能失真。隐私机制本身就是数据生成过程的一部分，因此有效的推断必须将其包含在内。

2020 年后的工作一直致力于构建噪声感知型置信区间、差分隐私 bootstrap（自助法）、从差分隐私合成数据中进行推断，以及评估所声称的隐私保证是否真的符合用户理解。这并不华丽，但至关重要。在未来的十年里，许多研究者将无法直接接触原始行政或医疗数据，只能使用经过隐私机制处理的输出。前沿问题变成了：我们如何在不暴露个人身份的前提下，让这些输出在科学上发挥作用？

前沿校准器：差分隐私通过牺牲某些分析的精确度来保护个人。一个有效的差分隐私置信区间可能会宽得多。这并不是失败，而是明确显示隐私保护带来的精度代价。真正危险的是忽略隐私噪声，只报告一个过窄的区间。

§7 建模与推断是一套工作流程

贝叶斯工作流程与基于模拟的校准

贝叶斯统计常被描述为比 p 值 更直接的替代方案：给未知量设定先验，计算后验，报告关于参数的概率。这很有吸引力，但如果先验未经审视、模型设定错误且采样算法未收敛或诊断失败，它也会变成另一种形式的仪式。

2020 年后的贝叶斯工作流运动提出：真正值得信任的，不是一个孤立的后验分布，而是生成、检查并修正它的完整工作流。先验预测检查会询问模型在看到数据前能否生成合理的数据；后验预测检查会询问拟合后的模型仍然无法复现哪些特征；交叉验证会询问预测在留出数据上是否仍然表现良好；而基于模拟的校准 (SBC) 则会检查当数据从模型模拟出来时，推断算法是否能恢复已知的参数。

这之所以属于前沿附录，是因为它直接回答了第 1 日关于「停摆的钟偶尔也会报对时间」的担忧。模型即使设定错误，也可能在某些数值指标上看起来表现良好。而工作流使路径变得可见：什么是假设的，什么是模拟的，什么失败了，什么改变了，以及还剩多少不确定性。

前沿校准器：模型检查不能证明模型正确。后验预测检查可能会错过关键的偏差。SBC 是在假定的生成模型下验证计算，而非验证模型本身的真实性。但与单独报告的后验区间相比，完整记录的工作流更不容易掩盖模型问题。

§8 统计取证工具的发展

大规模统计取证与复现筛查

附录 I 中的统计取证工具箱还是手工作坊式的：GRIM 检验、statcheck、p-curve、数字异常、电子表格中的异常模式。而 2020 年后的变化是，自动化程度和覆盖规模都显著提高了。

Francesca Gino / Data Colada 案例展示了这种力量与危险。Data Colada 在 2023 年发表了详细的异常分析；哈佛大学的调查结论认为存在研究不端行为；Gino 否认有错并提起诉讼。2024 年 9 月，联邦法官驳回了针对 Data Colada 被告的全部诉讼请求；2025 年 5 月，哈佛撤销了 Gino 的终身教职并解雇了她，与此同时，与哈佛有关的部分法律争议仍在继续。这一科学教训并不是「博主应该接管大学」，而是透明的取证论证可以成为正式纠错系统的一部分。

下一层是风险筛查。我们无法复现每一项主张。决策市场已经表明，科学家们的集体预测可以识别出哪些发现更可能复现、更不可能复现：在《自然-人类行为》的一项研究中，市场看好的研究的复现率远高于不被看好的研究。开放科学中心的 Predicting Replicability Challenge 加入了基于数千项复现结果训练的机器学习模型。初步结果是发人深省的：第一轮在某些指标上表现较弱，第二轮有所提高。这种细微差别非常重要：复现性预测是一个很有前景的烟雾报警器，而非真理机器。

前沿校准器：取证工具可能会被误用为自动定罪工具。异常的数据集并不自动等同于造假；较低的可复现性评分也不是判决。统计取证适合发现值得核查的异常和确定复现优先级，不应被当成自动判定学术不端的工具。这类工具还需要公开代码、经过校准的误报率，以及同时保护举报者和被指控研究者的制度。

§9 模拟受试者不等于真实受试者

LLM 社会模拟与模拟受试者

LLM 社交模拟提出了一个很有吸引力的问题：如果一个语言模型已经吸收了足够的有关社会互动与观点的数据，它能否扮演模拟调查受访者或实验参与者的角色？第一波结果令人兴奋。在给定人口统计背景的情况下，模型有时能大致复现群体层面的回答分布。基于智能体的模拟产生了看起来合理的局部互动模式。大规模复现实验发现，在心理学和管理场景中，LLM 往往能匹配主要效应的方向。

第二波则是警示。LLM 即使在边际分布看起来正确时也可能扭曲相关性。它们往往会把回答过度集中到最常见的选项。它们可能会放大效应量。它们在社会敏感话题上的表现可能更糟。其模拟「人群」由训练数据、对齐方式、提示词和模型版本共同塑造。那不是抽样框，而是一面被机器塑造的镜子。

因此，较稳妥的用途虽然狭窄但确实存在：问卷试测、发现含糊表述、检查实验材料是否清楚，以及在正式开展真人研究之前生成初步假设。这类模拟至多可以帮助研究者形成关于效应方向和样本量的初步假设；正式的功效分析仍应以真实人类数据、可靠的既有研究或先导研究为依据。而不负责任的使用场景则是：在没有人类验证的情况下将其作为验证性证据。

报告标准应当变得严苛：模型名称及版本、日期、系统提示词、角色设定、温度、采样方案、重复运行的变异性、针对人类数据的验证，以及一套预注册规则，用以规定何时可把模拟结果计入证据。否则，模拟受试者就会变成又一座隐蔽的分岔路径迷宫，只不过披上了人类数据的外表。

§10 当 AI 承担分析工作

AI 分析师、自动化科学与基准测试污染

真正危险的前沿，并不是把 AI 用作分析中的一个模型，而是让 AI 决定采用哪套分析方案。

数据分析智能体可以清洗数据、编写代码、选择模型、运行检验、生成图表并撰写结果说明。StatLLM 等新基准测试评估统计代码；数据智能体基准测试则评估更长的工作流。对 LLM 数据分析的研究显示，更换模型、提示词或温度，或重复运行同一任务，都可能产生不同结果；即便任务和数据集相同，也可能得到实质上不同的估计值。在更前沿的方向上，自主研究系统现在可以生成想法、编写代码、运行实验、绘制结果、起草论文并进行自我审阅。

这并未使 AI 变得毫无用处。问题在于，AI 会以极低成本放大我们已经熟悉的统计风险。多分析师问题如今可以以极低成本反复运行。研究者自由度如今又增加了提示词、模型选择、重试次数、工具调用和内部推理路径等新的自由度。

同一种失效模式也出现在 AI 基准测试中。公开排行榜相当于对同一测试集反复试验。当静态基准测试泄露到训练数据中时，就会发生基准测试污染。开发者可以针对基准测试进行微调。分数上升可能是因为模型泛化能力更强，也可能是因为它们记住了更多，或者因为测试框架变了，亦或是因为基准测试已被过度优化、区分能力正在下降。统计对象不再是「在测试集上的准确率」；它是模型构建者、基准测试维护者与隐藏测试数据之间的一场动态博弈。

更负责任的做法包括：提示词日志、容器化代码、重复的独立智能体运行、多重宇宙报告、隐藏测试集评估、污染审计、预注册的分析指令，以及对系统决策的人类审查。梦想是让 AI 分析师暴露每一个分岔路径。噩梦则是 AI 分析师悄悄选择那个能发表的路径。

共同原则

核心不是信任 AI，而是约束并审计分析自由度

2020 年后最强大的方法共享一个模式。它们接受模型可能是黑盒、分析师可能去探索、实验可能被持续监测、数据可能被隐私保护机制处理、且科研系统可能庞大到无法人工检查。然后它们追问：在哪个环节仍能建立统计保证？

最初的统计学危机并不只由恶意造假造成。它也来自灵活的人类在奖励「漂亮故事」的激励系统中，使用脆弱的程序。下一次危机可能有异曲同工之处：灵活的机器在奖励「惊人产出」的激励系统中，使用脆弱的评估方案。其解药在更高层面是一致的：使分岔路径可见，在合适环节建立统计保证，并拒绝将呈现精美误认为已有可靠证据支撑。