中篇：科学协作的机制与协议
（第7–12章）
第7章 为什么批评也是协作
第六章分析了协作的通信、记忆和协调代价。这些代价表明协作不是免费午餐。但协作内部有一种机制，它的好坏直接决定了协作产出的是知识还是共识幻觉——那就是批评。
同一个基础模型分别扮演作者、审稿人和怀疑者，这是当前多Agent科研系统的常见配置。输出看起来像一场争论：作者提出主张，审稿人指出问题，怀疑者质疑前提。但三者是否拥有独立的错误来源，在大多数系统设计中并未被说明（Kim et al., 2025）（Yang et al., 2026）。如果三者共享同一个基础模型、同一套训练数据、同一种推理偏好，那么它们的"分歧"可能只是采样路径不同，而非独立判断的产物。输出措辞不同只证明运行轨迹不同，不证明错误来源不同。
区分"差异"和"独立"是理解批评有效性的前提。差异可以按层级排列，每一层提供的独立性程度不同。采样差异：同一模型同一提示多次采样的输出不同，但共享所有权重和知识，独立性极低。persona差异：给模型不同角色提示（"你是审稿人""你是怀疑者"），改变了输出风格和关注点，但底层推理偏好不变，独立性低。上下文差异：给不同成员不同的背景信息或不同的工具访问权，独立性中等偏下，因为基础推理能力仍然相同。工具差异：不同成员使用不同的工具和数据源，独立性中等，因为错误可能仍来自共享的推理层。模型差异：不同架构或不同提供者的模型，独立性中等偏高，但如果训练数据高度重叠则不充分。方法差异：不同成员用根本不同的方法论（不同的实验范式、不同的统计框架），独立性高。机构治理差异：批评来自不同机构、遵循不同标准和利益约束的审查者，独立性高。这些层级不是严格的，但它们说明了一个事实：persona差异在独立性阶梯上位置很低，不能等同于独立审查。
大规模模型错误相关性研究为上述判断提供了经验支持。对多个模型在相同任务上的错误模式测量表明，共同错误是可测的，且错误相关性与模型架构、提供者和能力水平有关。同一架构不同实例之间的错误相关性高于不同架构之间。同一提供者的不同模型版本之间的错误相关性高于不同提供者之间。这意味着即使是"不同模型"也不能自动假设为独立——如果它们的训练数据和方法论高度相似，共同盲区仍然存在。
由此可以得出一个实操性的推论：十个同源Agent的一致同意，不能按十份独立证据来计算。如果十个Agent都基于同一个基础模型，它们的一致更可能反映模型的共同偏好，而非十个独立观察的汇聚。共识报告必须披露其成员的来源和依赖关系：用了哪些模型、哪些工具、哪些数据源、哪些评价标准。不披露依赖的共识，其可信度无法被外部评估。
普通的多Agent辩论机制可能不如简单的多数投票。一项研究发现，在某些条件下，让多个Agent互相辩论反而降低了准确率，因为辩论过程中较弱的论点可能通过修辞力量压过较强的论点，且辩论会放大初始锚定的影响（Du et al., 2023）。后续研究表明，在辩论开始前注入初始差异（让不同成员从不同的初始立场出发）并引入置信度机制（让成员根据自身证据强度调整立场），可以改善辩论效果（Zhu et al., 2026）。但这些改善是在特定任务上测得的，不能推广为一般性结论。异质性——让真正不同的模型参与——有时比persona差异更有效，但异质模型不等于独立的科学传统。两个不同公司的模型可能共享大量训练语料和相似的 RLHF 偏好，它们的差异在独立性阶梯上仍处于中等位置。
Longino的科学知识论为"批评何时构成有效协作"提供了哲学基准。她认为，批评的价值不在于表达了反对意见，而在于存在公开的批评渠道、被批评者有回应的义务、以及批评能够实际改变研究的方向（Longino, 1990）。把这套标准映射到Agent系统：一个审稿Agent生成了批评文本，不构成有效协作。有效协作要求批评通过公开渠道传递给被批评者，被批评者必须回应（接受、反驳或修改），且批评有制度性的力量触发实际变更——重算、补做实验、修改权限、调整资源分配，或正式保留分歧记录。如果批评只能生成评语而不能触发任何动作，那么批评就只是装饰。
任务相关独立性是一个比绝对独立性更实际的标准。两个Agent不需要在所有方面都独立，只需要对当前结论的主要错误来源是分离的。举例来说，如果一个结论的主要风险在于统计方法的选择，那么批评者需要在统计方法论上与作者不同——用不同的方法重新分析同一数据。如果批评者用完全相同的方法重新分析，即使它换了persona和措辞，它也无法发现方法本身的错误。任务相关独立性的判断需要识别当前结论的主要错误来源是什么，然后确认批评者在这些来源上是否提供了不同的视角。这比笼统地说"需要多样性"更可操作，但也更困难，因为它要求设计者理解任务的认识结构。
有效的批评应能触发以下至少一种动作：重新计算结论、补充实验或数据、修改Agent的权限边界、调整资源分配、正式保留少数报告。只生成评语而不触发任何动作的批评，在Longino的标准下不构成有效协作。评语本身可能是有价值的输入，但如果系统设计没有给评语连接到行动的通道，评语就只会积累在日志里，不会改变研究的走向。
有效共识的构建需要满足比"多数同意"更多的条件。共识报告应说明其依赖的证据来源、使用的模型、调用的工具和评价器的配置。当成员之间存在根本分歧时，应保留少数报告而非强制压成单一答案。强制一致性会丢失最重要的信息：分歧本身的位置和理由。一个保留了少数报告的共识，比一个 unanimous 但压制了异议的共识，对后续研究者更有价值——因为前者暴露了不确定性，后者掩盖了它。
批评机制有几种特有的失败形态。有时所有成员在开始批评前都读取了同一个初始答案，后续讨论围绕这个锚点展开而非独立生成判断。辩论可能花费更多计算资源，准确率却低于简单投票，因为修辞干扰了证据权重。成员报告的置信度与实际准确率不匹配时，高置信成员在加权整合中获得更大影响力，却未必更准确。最关键的一种失败是批评者能生成评语但不能调用工具、不能阻止发布、不能触发重算——批评成了没有约束力的建议。至于所有成员共享同一基础模型导致的同源问题——persona只制造文风差异而批评在实质上不成立——第四章已作完整讨论，此处不再重列。这些情况的共同特征是批评的形式存在而功能缺失。
一种常见的担忧是：强模型通过自我反思、树搜索、角色提示和大量采样，可以覆盖大部分重要的反对意见，要求独立训练史的成本过高，在工程上不现实。这个异议有实际力量。自我反思和树搜索确实能发现一部分错误，角色提示确实能拓宽候选批评的范围。但需要区分两件事：覆盖候选批评和保证公共可信度。角色模拟可以扩大系统考虑到的反对意见集合，这是有价值的。但对于共同盲区——所有角色都看不到的错误——角色模拟无能为力，因为盲区之所以是盲区，正是因为没有任何角色提示能指向它。对于公共可信度——外部使用者凭什么相信这个系统的结论经过了充分审查——同源模型的自我批评不能提供充分保证，因为外部使用者无法验证"内部审查"是否真的独立。角色模拟可以扩大候选批评，但对共同盲区和公共可信度，不能视为充分的独立审查。
批评是让计划能够被内部推翻的协作机制。一个能够被自身推翻的系统，比一个只能被外部纠正的系统更可靠。但内部反对仍可能共同错误——所有内部成员共享同一个基础模型时，它们的共识可能反映共同的正确，也可能反映共同的盲区。
本章引用
- Kim, M. et al. (2025). "Correlated Errors in Multi-Agent LLM Systems." arXiv preprint.
- Yang, J. et al. (2026). "Agent Scaling and Diversity." arXiv preprint.
- Du, Y. et al. (2023). "Improving Factuality and Reasoning in Language Models through Multiagent Debate." arXiv:2305.14325.
- Zhu, X. et al. (2026). "Multi-Agent Debate: Confidence and Diversity." arXiv preprint.
- Longino, H. (1990). "Science as Social Knowledge." Princeton University Press.
第8章 什么使一种协作成为科学协作
第七章分析了批评何时构成有效协作。但批评只是科学协作的一个维度。一个更根本的问题尚未被回答：什么使一种协作成为科学协作，而非普通的任务分工？
Lean定理证明器接受一个证明项时，它确认的是该证明项在给定公理和推理规则下的类型正确性（Yang et al., 2023）（DeepSeek, 2024）。这一判定可以在毫秒内完成，且不依赖证明构造者的身份或意图。如果将"通过证明检查"视为协作的终点，那么从定理陈述到证明构造到机器验证的整个过程已经构成一种多主体协作：人提出定理，模型生成证明步骤，检查器判定合规。
验证器能做的事情有明确边界。它判断给定形式目标是否满足既定规则，不能决定这个定理值不值得证明，形式化是否抓住了原始数学问题的实质，也不能决定验证通过后结论怎样进入数学共同体的公共知识。一个被Lean接受的证明可能形式化了一个无人关心的问题，可能因为公理选择不当而偏离了原始直觉，也可能只是留在预印本服务器上未被任何人阅读或引用。验证器的判定是局部正确性的确认，不是科学价值的裁断。
普通合作以完成委托目标为成功标志。合同约定的交付物通过验收，合作即告结束。科学合作不接受这一终止条件。即使所有参与者同意目标已达成，科学合作还要求对象、证据和后来的研究者能够推翻共同计划。一个实验团队的共识不能使测量结果变为真，一个工程团队的项目验收不能使技术假设变为已确立的知识。合作者的同意在科学协作中不是终局判据。
对象侧约束是科学协作中"外部"一词的真正含义。自然测量、代码执行、形式规则、模拟、独立测量和物理实验都能使所有参与者共同失败——无论他们是否同意，无论他们的合同是否完成。一台粒子对撞机的数据可以推翻所有合作者的理论预期，一组代码测试可以使整个团队的假设无效。这种"共同失败的可能性"不是缺陷，而是科学协作区别于其他协作的功能特征。没有共同失败的可能，协作的输出就只取决于参与者之间的协商。这正是科学最令人敬畏的地方：无论参与者多么聪明、多么一致，自然界始终保留着让所有人一起犯错的权力。一个协作系统如果失去了被对象推翻的可能，它就不再是做科学，而只是在做协商。
在具体科研过程中，至少五类内容需要被区分：主张、观察或测量、计算、推论、解释。一个流畅的研究报告可能将这五类混合在连续叙述中。主张是待检验的命题，观察是对现象的记录，计算是对数据的变换，推论是从前提导出结论的逻辑步骤，解释是为现象赋予原因的叙事。混淆这五类内容会使批评者无法定位分歧：当"我们观察到X""我们计算出X""我们推断X"和"X意味着Y"被混为一谈时，对其中任何一步的质疑都会被理解为对整体的否定，批评因此无法精确指向。
团队交付与公共知识之间存在结构性距离。一个团队完成的成果要成为公共知识，需要能脱离最初团队的权威被独立检查，需要说明证据来源，需要暴露失败条件，需要允许陌生人重做、反驳和重新解释。团队内部的信任关系和分工默契不能替代这些公共条件。一个只有团队成员能理解、只有团队能执行、只有团队能判断对错的成果，无论多么正确，在公共知识意义上仍然是封闭的。冷聚变事件是这种结构性距离的经典案例。1989年Fleischmann和Pons宣布在室温下实现了核聚变，他们的团队内部数据看起来支持这一结论。但当他们试图将结果转化为公共知识时，问题出现了：其他团队无法在相同条件下复现实验，原始实验的校准细节和边界条件没有被完整披露。团队内部的信任不能替代公共可检查性——一个只有原始团队能执行和判断的实验，无论团队内部多么确信，在公共知识意义上仍然是封闭的。
公共证据要求结果能够离开生成者而保持可检查性。Boyd提出的证据丰富对象概念强调，科学结果应保存其来源、处理过程和适用条件，使后续研究者能够在生成者不在场的情况下评估其可靠性。聊天记录、中间状态和模型内部表示如果不被组织为可引用、可定位的对象，就只是过程残留而非公共证据。结果离开了生成者却丢失了来源和处理信息，与没有离开一样不可用。
科学协作不要求立即一致。Longino论证，在证据和方法约束下，分歧本身可以成为被保存的科学产物而非需要消除的噪声（Longino, 1990）。两个研究团队对同一数据集给出不同解释，如果双方都公开了数据来源、分析方法和判断依据，这种分歧就为后续研究提供了可比较的替代假说。要求即时一致的协作实际上降低了知识的分辨率：它迫使研究者在证据不足以决定时做出虚假的收敛。
检验可以从弱到强分级排列。模型互评依赖评判者的判断，标准答案依赖答案集的代表性，程序测试依赖测试用例的覆盖度，形式证明依赖公理系统的选择，模拟依赖模型的假设，物理实验依赖仪器和环境条件，异源复现依赖独立团队使用不同方法得到一致结果。这些检验在客观性宽度和成本上各不相同。越确定的验证器通常适用范围越窄：Lean证明检查的确定性最高，但它只覆盖能够被完全形式化的命题；异源复现的客观性最宽，但成本最高且耗时最长。越开放的科学判断越需要多主体的证据积累和制度支撑，单一验证器无法替代这一积累。
高能物理（HEP）的假说生成、测试和证据更新过程已经被部分显式化为可检查的协议部件（Hep et al., 2026）。AegisDx用角色合同、证据检索和验证关口组织临床推理流程。这些案例支持一个有限命题：科学式协议的部件可以被工程化实现。它们不证明已经形成了一般的科学方法，也不证明这些部件在所有领域都适用。HEP协议在粒子物理的特定问题结构中有效，AegisDx的设计针对临床推理的特定约束，二者的可推广性需要进一步检验。
协作失败有若干可识别的模式。验证器崇拜将某一类检验视为科学性的唯一标准而忽略其适用范围。工具链单一使结果依赖特定工具的正确性而无法交叉验证。日志幻觉把Agent的运行记录误认为已经发生的研究过程。形式化收缩把无法形式化的问题排除在研究范围之外。此外，将观察报告当作中性数据而忽视其隐含的理论假设、将实验结果简单映射到理论判断而忽略仪器和环境因素、将评价标准固化为不可批评的前提、将科学目标替换为可量化的指标——这些也都使协作偏离科学功能。它们在实际中常常叠加出现。
一种有力的反驳认为，工程、医学、司法和商业协作同样有外部事实审计和失败责任，科学协作在此意义上没有本质特殊性。这一论证指出了一个事实：科学协作与其他实践之间存在大量重叠，外部检验并非科学独有。本文的回应不主张科学与其他实践完全隔绝，而是提出一个最低功能组合：面向一般化知识主张、允许对象反驳、证据可跨主体移动、批评与标准修订制度化。这个组合中每一项单独看都不独特，但四者的联合构成区分科学协作与其他协作的功能条件。一个工程项目可以接受外部审计而不修订审计标准，一个司法过程可以允许上诉而不允许上诉者改变法律本身。科学协作的特征在于对象、证据、批评和标准修订都进入可约束行动的回路。
科学协作让对象、证据、批评和分歧都能约束行动。
本章引用
- Yang, K. et al. (2023). "LeanDojo: Theorem Proving with Retrieval-Augmented Language Models." NeurIPS 2023.
- DeepSeek (2024). "Prover: Automated Theorem Proving with Large Language Models." arXiv preprint.
- Longino, H. (1990). "Science as Social Knowledge." Princeton University Press.
- Hep, J. et al. (2026). "Hypothesis-Evidence Protocol for Multi-Agent Research." arXiv preprint.
第9章 科学方法是一种协作协议
第八章给出了科学协作的最低功能组合：面向一般化知识主张、允许对象反驳、证据可跨主体移动、批评与标准修订制度化。本章把这个功能组合进一步拆解为可操作的协作协议。
Lean定理证明器能判定证明合规，却不能决定为什么证明这个定理、形式化是否抓住了问题本身（Yang et al., 2023）（DeepSeek, 2024）。定理选择、形式化策略和证明完成后的知识归属，都落在验证器的判定范围之外。单个Agent接受答案检查、执行代码、通过Lean证明和获取环境反馈，这些能力解决了"这一步是否通过"的问题。公共科学还需要解决证据从哪里来、谁有权质疑、规则如何改变。
协议不是固定的流程清单。固定流程清单预设了步骤的顺序和内容在所有情境下都适用，而科学研究的实际进程常常需要在执行中调整目标、方法和判断标准。协议的功能是使不同主体能够交换主张、证据、批评和修改记录——这些主体的知识背景、工具偏好和信任关系各不相同，甚至彼此不完全互信。协议提供的是交换规则而非执行脚本，参与者在规则约束下保留判断和调整的余地。
四个模块构成科学协议的最低结构，彼此不可互相替代。
对象侧验证使主张能够失败。形式规则、程序执行、模拟、测量或物理实验中任何一项都可以使一个主张被否决。没有对象侧验证，所有判断都退化为语言协商：主张之间的冲突只能通过说服或权威裁决来解决，没有独立于主张者的判据。Lean证明检查、代码测试和实验测量都属于对象侧验证，但它们覆盖的命题类型各不相同。形式规则覆盖可完全形式化的命题，程序执行覆盖可计算的命题，物理实验覆盖经验命题，三者的交集有限。
证据谱系记录数据、工具、模型、版本、参数、人工干预和推论之间的来源关系。W3C PROV提供实体、活动和代理之间的追溯框架（W3C, 2013），Boyd的证据丰富对象概念要求每条结果携带其生成和处理历史。谱系是使后续研究者能够判断结果是否适用于新情境的功能依赖。一个没有谱系的结果只能被原团队解释，无法被迁移、审查或批判性使用。基因组关联研究（GWAS）是证据谱系重要性的典型场景：一个团队在欧洲血统人群中发现了某基因位点与疾病的关联，后续团队在亚洲血统人群中检验同一关联时，需要知道原始研究使用了哪个基因分型平台、怎样定义病例和对照、用什么统计模型校正了群体分层。如果这些来源信息缺失，后续团队无法判断关联的失效是因为群体差异还是方法差异——谱系缺失使迁移检验变为盲目的复制而非有控制的比较。
有效批评要求批评者能够接触足够材料、提出相关异议，并使结论、实验或资源分配发生变化。Longino将批评的transformative功能视为科学客观性的核心机制（Longino, 1990）。批评不是附议也不是否决：附议不改变知识状态，否决不提供替代。有效批评使被批评的对象发生可记录的改变——修正主张、补充实验、调整参数或明确分歧条件。批评者无法接触材料、批评无法影响结论、批评被记录但不被回应，这些都使批评失效而非有效。
元规范修订使评价器、基准、证据标准、研究目标和准入规则本身成为批评对象。Goodhart定律提醒，当度量成为目标时它就不再有效度量。科学协议中使用的所有标准都是可质疑的，包括验证器的选择、测试集的构成、显著性阈值和复现标准。如果元规范不可修订，协议就会在标准失效时僵化：研究者继续使用已经不适合当前问题的度量，因为改变度量本身不被允许。元规范修订与对象侧验证的关系是双向的——修订理由需要证据支持，而证据标准本身也可被修订。
四模块的组合缺失会产生可识别的退化形态。只有对象侧验证而没有证据谱系、有效批评和元规范修订，得到的是可验证任务：能判断对错但不能追踪来源、不能被外部批评、不能修订标准。只有互评而没有对象侧验证，得到的是语言协商：批评和回应在主张之间循环而不触及外部判据。只有记录而没有批评，得到的是档案：过程被保存但结论不被挑战。只有规范修订而没有证据约束，容易退化为无根据的规则变更：标准可以改变但改变的理由不受证据检验。
最小循环描述四模块的运转方式：提出主张—登记来源—对象检验—批评—修订或保留分歧—更新规则或归档。这个循环不是线性流程，批评可以在任何环节介入，规则修订可以触发新的主张提出。循环的每一步都产生可引用的记录，使后续研究者能够定位决策点和分歧条件。循环的终点不是"达成共识"而是"当前状态可被检查"：分歧被保留时它同样是一个可检查的循环输出。
从单体验证到公共验证的扩展涉及具体的转换。标准答案扩展为公开题目、评分规则和答案集版本；Lean检查扩展为证明对象、定义依赖库和公理选择的可审查性；代码测试扩展为测试来源、隐藏条件和环境依赖的可追踪性；实验反馈扩展为样品、仪器和原始测量数据的被记录状态；验证器评分扩展为评价器来源、误差特性和申诉机制的并存。每一项扩展都使原本依赖单一主体信任的检验变为可被陌生主体检查的公共过程。扩展的代价是记录成本和流程复杂度的增加，收益是检验结果的可迁移性。
HEP协议、TOP Guidelines和开放工作流规范展示了四模块的部件可以被工程化。TOP Guidelines将透明度要求细化为可执行的报告标准，覆盖从假设 preregistration 到数据分析的多个环节。开放工作流规范将计算过程的来源和执行记录打包为可引用对象，使工作流的输入、输出和执行环境可被独立检查。这些实例支持协议部件的可实现性，但不表明任何单一系统已经完整实现了四模块的联合运作。
协议使知识脱离主体权威。在协议约束下，陌生主体无需接受模型声誉或团队权威也能检查主张的来源和失败条件。这一特征是协议功能的直接后果：当证据谱系完整、批评渠道开放、验证器可审查时，主体权威对知识状态的贡献被降低。这也限制了认识权力的集中。把生成、验证、评价和资源分配分配给不同主体，比依赖一个"足够善良且足够聪明"的中央Agent更稳健。中央Agent的善良和聪明都无法被外部验证，而分权结构使每一类权力的行使都受到其他类别的约束。分权的成本是协调开销的增加，但在不完全互信的多主体场景中，这一成本换取的是结构性的抗腐败能力。
除了第八章已识别的验证器崇拜和日志幻觉，以及第四章讨论的同源级联问题，协议层面还有以下特有失败：开放终稿，只在研究完成后公开而过程中不接受批评；不可回应的批评，批评被记录但不进入修订循环；权限不对称，不同主体对证据和批评渠道的访问权不平等；协议过密，规则复杂到使实际研究被合规负担压垮；对象被协议遮蔽，对协议合规的关注取代了对研究对象本身的关注。固定元规范——标准被设定后不再修订——则是前文讨论的Goodhart效应在协议层面的具体表现。
这里有一个深层疑虑：科学方法由人类判断、伦理承诺、历史传统和身体实践共同形成，而非纯抽象协议，将科学方法拆解为机器可操作的接口，会保留合规外壳却丢失科学判断的实质。这一质疑正确地指出协议不能穷尽科学实践的全部内容。实验科学家对异常信号的直觉判断、田野工作者对情境的默会理解、研究共同体对问题重要性的共识形成，这些都不容易被协议化。本文的回应是：不主张协议穷尽科学，而是指出只要多个主体需要将局部结果转化为公共知识，就需要可追踪、可反驳、可修订的最低接口。人类判断在协议之上运作而非在协议之外，协议为判断的公共化提供条件而非替代判断本身。
协议不能穷尽科学，却是知识脱离一次运行并接受公共检验的最低条件。
本章引用
- Yang, K. et al. (2023). "LeanDojo: Theorem Proving with Retrieval-Augmented Language Models." NeurIPS 2023.
- DeepSeek (2024). "Prover: Automated Theorem Proving with Large Language Models." arXiv preprint.
- W3C (2013). "PROV-DM: The PROV Data Model." W3C Recommendation.
- Longino, H. (1990). "Science as Social Knowledge." Princeton University Press.
第10章 证据链怎样变得可查、可重放、可重审
第九章把科学方法重构为四模块的协作协议。协议要运作，需要一个物质基础：证据必须被保存为可操作的对象，而不仅仅是聊天记录或运行日志。本章追问的就是这个物质基础——证据链怎样建立、怎样保持、又在哪里断裂。
一套Agent运行日志被完整保存，如果缺少模型版本、数据快照、运行环境、样品信息和失败条件记录，陌生团队仍然无法重做原始工作（NASEM, 2019）。日志记录了Agent说了什么和做了什么，但不足以回答结果是在什么条件下产生的、哪些条件可以改变、哪些改变会使结果不同。日志的完整性是保存量的指标，不是可复现性的指标。
公共证据不是聊天记录的堆积。聊天记录按时间排列，包含大量与研究结论无关的过程性内容。公共证据需要的是可定位、可引用、可版本化的研究对象及其关系（W3C, 2013）（Soiland-Reyes et al., 2022）。可定位指能够通过稳定标识找到特定对象，可引用指能够在其他研究中精确指向该对象，可版本化指能够区分同一对象的不同状态。三者共同使证据从时间流中提取出来成为可操作的结构化对象。
六个概念在科研复现讨论中经常被混淆。可追踪指能够定位结果的来源和处理路径。可重放指按照原始记录再次执行相同过程。计算可重现指使用原始数据和代码得到一致结果。独立可复现指使用新数据或独立方法检验原结论。可重审指检查原始分析中的选择范围、异常处理和推论步骤。可重新解释指在新理论工具下对原始数据重新分析。这六者在证据要求和认识论含义上各不相同，但实践中常被笼统地称为"可复现"，导致对证据保存需求的误判。同一模型重复运行最多支持部分重放或结果稳定性检查，不能自动算作异源复现——两次运行使用同一模型、同一数据和同一代码，共享了同一组潜在错误源。
天文观测面临类似的非对称性：一台望远镜在某夜某地观测到的瞬变天象——超新星爆发、引力波事件、快速射电暴——在时间上不可重复。后续研究者无法"重做"那次观测，只能依赖原始观测的完整记录：仪器配置、天气条件、数据校准流程和信号处理参数。如果观测日志缺失了大气湍流修正参数或滤波器透过率曲线，后续团队就无法判断信号是真实天体还是仪器伪迹。天文台因此发展出精细的数据溯源规范：每次观测的原始数据、校准帧和处理流水线版本都被永久归档，使证据链在观测本身不可重放的条件下仍然可审计。
Agent参与的研究过程需要保存的对象可以分为三层结构。第一层"记录了什么"（输入与配置）：研究问题的版本演化、数据集筛选规则和排除标准、模型名称与权重版本、系统提示与工具定义和权限设定与温度参数。这些决定了研究在什么条件下开始。第二层"执行了什么"（过程与执行）：检索结果与引用快照、代码依赖与容器和硬件配置、Agent间消息与关键中间主张和决策点、实验样品与仪器校准和原始测量。这些决定了研究怎样被执行和检查。第三层"谁来判定"（责任与异常）：验证器与基准和评分规则、失败记录与撤回与异议和未决问题、贡献者与人工干预记录。这些决定了研究能否被审计和修正。其中每一类对象的缺失都会使某一方面的检查无法进行：缺少模型版本使结果无法归因于特定模型行为，缺少权限设定使Agent的可用工具集不可知，缺少失败记录使成功结果的选择性偏差不可评估。
用研究对象而非聊天记录组织材料意味着建立显式的关系结构：主张C使用数据D，数据D由工作流W处理，工作流W产生结果R，结果R通过检验V，检验V接受批评K，以上由贡献者A执行。这一结构使每个对象都能被独立引用和检查，而不是被嵌入在时间流中难以定位。关系结构的建立需要在研究过程中持续填充，而非在研究完成后从日志中重建——事后重建依赖重建者对过程的解读，引入了额外的解释层。
W3C PROV提供实体、活动和代理的本体框架。RO-Crate在此基础上提供可打包的研究对象规范，Workflow Run RO-Crate进一步覆盖工作流执行的记录需求。这些规范提供了现实可用的语义和打包基础，但它们的采用需要研究者在执行过程中主动填充来源信息。规范本身不自动生成证据链：它定义了字段和关系，字段的填充仍依赖人的或Agent的记录行为。TOP Guidelines的要求也指向同一方向——透明度标准需要被主动满足而非自动满足。
物理样品、仪器状态和环境条件可能无法被数字日志完整替代。一个生物实验的样品在实验结束后被消耗，一台质谱仪的校准状态随时间漂移，一组田野观察的环境条件不可重复。这些限制源于物质实践本身的不对称性：数字对象可以被完美复制，物理对象不能。NASEM的报告指出，对于依赖物理实验的研究，复现要求包括样品的可获得性和仪器的可比较性，这些条件可能随时间失效。RO-Crate规范也承认物理对象的描述能力有限，其元数据字段可以记录样品标识和仪器参数，但无法替代样品本身。
默会实践是档案无法覆盖的另一维度。操作技能、异常判断和修复经验需要通过实践传递，而非通过文档传递。Polanyi对默会知识的分析表明，研究者知道如何做的事情中有一部分无法被完全言说（Polanyi, 1966）。Collins进一步论证，将默会知识转化为显性规则的过程总是不完全的，可言说的规则与实际操作之间存在不可消除的间隙。这意味着完整的证据档案是复现的必要条件但非充分条件：即使所有可记录的信息都被保存，研究者仍可能因为缺乏特定技能而无法复现结果。档案降低了复现的门槛，但没有将复现变为纯粹的文档操作。
保存选择本身是治理行为。记录粒度决定了未来研究者能看到什么，访问权决定了谁能检查，删除期限决定了信息保留多久，索引方式决定了哪些路线可被重新发现。Bowker和Star指出，分类和归档系统塑造了哪些实践和对象可见、哪些被边缘化。一个只保存成功结果的档案系统会使失败路线不可追溯，一个以特定学科分类组织证据的系统会使跨学科路线难以被发现。保存策略的设计者——无论是人还是Agent——在这一意义上行使着影响未来知识形态的权力。
开放不是无条件的公开。隐私保护要求对涉及个人的数据进行脱敏或限制访问，安全考虑要求对双重用途技术设定发布门槛，知识产权要求区分可公开和需保护的部分，成本约束要求在完整保存和经济可行之间权衡。NIST的AI风险管理框架也区分了不同风险等级下的信息处理策略，强调风险处置需要匹配具体情境（NIST, 2023）。应当区分的开放层次包括：完全公开、注册访问、独立托管、延迟开放和不可公开但可审计。不可公开但可审计指数据不对外发布但由独立第三方验证其存在性和处理过程，这一层次在涉及敏感数据的研究中具有实际意义。
一种合理的担忧是，完整证据链的保存成本过高，在多数研究中不可行，而未来的模型能力可能从成品结果重建缺失的中间步骤，使详细保存变得不必要。成本问题确实是实践约束：记录每一步骤的来源和条件消耗资源，可能减缓研究速度。但本文的回应是：按"未来可检查什么"设计分层记录策略，公开说明哪些信息被保存、哪些被删减以及为什么。证据选择不可避免——任何研究都只保存部分信息——正因如此，保存策略需要成为可治理和可质疑的对象，而非被默认的技术决定。未来模型从成品重建缺失步骤的能力目前是预测而非事实，且重建结果与原始过程的符合性本身需要证据来验证，不能预设其正确性。
协议需要可引用的研究对象作为运作基础，但研究对象不会自己说明自身价值。
本章引用
- National Academies of Sciences, Engineering, and Medicine (2019). "Reproducibility and Replicability in Science." National Academies Press.
- W3C (2013). "PROV-DM: The PROV Data Model." W3C Recommendation.
- Soiland-Reyes, S. et al. (2022). "RO-Crate: Research Objects in Crates." Data Science Journal.
- Polanyi, M. (1966). "The Tacit Dimension." Routledge & Kegan Paul.
- NIST (2023). "AI Risk Management Framework (AI RMF 1.0)." National Institute of Standards and Technology.
第11章 谁来判定结果可信
第十章建立了证据链的物质基础。但证据本身不会自己判定好坏——谁来检查、按什么标准检查、检查结果怎样影响后续资源分配，这些问题需要另一套制度：评价器。
Lean定理证明器为数学发现提供了严格反馈：一个证明项要么在给定公理和规则下通过检查，要么不通过（Yang et al., 2023）（DeepSeek, 2024）。SWE-bench对代码能力提供了类似约束——程序是否通过测试用例可以被确定性判定（Jimenez et al., 2024）。这些严格验证器是模型能力增长的重要条件：它们使搜索有了明确方向，使比较有了公共标准，使迭代有了可衡量的进展。但验证器的严格性与其覆盖范围之间存在反向关系。Lean能判定证明的合规性，却不能决定证明哪个定理更有价值；单元测试能判定代码是否通过，却不能判定代码解决的是否是重要问题。评价越可自动化，通常覆盖的命题范围越窄；研究越开放，评价越涉及价值判断和长期后果。
评价器至少有五个可区分的层级。确定性验证器包括编译器、单元测试、形式证明器和规则检查，它们对明确定义的命题给出二值判断。任务结果指标包括准确率、误差、实验产率和性能成本，它们衡量输出质量但依赖指标选择。过程评价器检查步骤正确性、证据引用、工具使用和安全合规，它们关注的不只是结果还包括路径。论文与研究评价涉及新颖性、重要性、方法质量和写作质量，这些判断高度依赖领域知识和标准。制度评价器包括榜单排名、审稿决策、资助分配、引用计数和资源调度，它们决定哪些Agent、路线和论文获得下一轮投入（Longino, 1990）（Hull, 1988）（March, 1991）。越靠前的层级评价通常越清楚、越窄；越靠后的层级越接近科学价值判断，却越依赖社会规范和可争议标准。许多讨论只比较第一层分数，却忽略分数怎样进入选择和资源循环。
基准与评价器是不同的东西。基准提供任务集合、环境、材料和评分协议；评价器对具体输出或过程作出判断；选择机制根据评价结果分配后续资源；元评价检查基准和评价器本身的有效性、偏差与可操纵性。混淆这四者会导致一种常见误解：在某个基准上得分提高，直接等同于科学能力进步。ScienceAgentBench从真实论文提取数据驱动科研任务，要求Agent生成可执行程序并同时检查程序、执行结果和成本。BLADE处理开放数据分析中存在多个合理路径的问题，试图区分分析决策、执行和结果。AstaBench提供覆盖文献、代码、数据分析和端到端发现的2400余项问题，对大量Agent的评测显示某些局部技能进步明显但整体科研协助仍远未解决。这些基准使科研Agent的能力在受控子任务上可以比较，也表明端到端和开放分析仍存在显著缺口。基准提升是能力证据，不等于科学进步、成员资格或长期重要性。
SciAgentArena等更新的评测系统引入分步检验、真实研究场景和容器化实验环境，显示Agent在结构清楚的任务中表现较强，而新颖洞见和自主探索仍弱。这一结果不应被概括为AI无法发现新知识——它说明的是当前评价器能测量的任务类型与真正开放的研究任务之间存在结构性差距。当评价器只能测量可形式化的子任务时，系统会优先优化这些子任务，而评价器无法测量的能力——提出新问题、识别异常、判断长期重要性——可能被系统性忽视。
自动论文评价已经进入实践。AI Scientist和Agent Laboratory等系统使用LLM评审或模拟审稿器评价研究输出。后续研究发现LLM评分可能比人类评审更正向、更集中、更过度自信，并可被隐藏提示、图像攻击或仅改变叙述包装所操纵。同一篇论文在不改变证据和结论的情况下，仅通过调整叙述风格就可能获得更高分数。隐藏在论文中的提示词可以诱导评审模型给出正面评价。这些攻击不是边缘案例：它们表明自动评审的评分与论文实际质量之间的关联可以被人为干预，而评审系统本身可能缺乏检测这种干预的能力。
评价器不只判断答案，它还通过选择机制塑造共同体。高分候选获得更多计算、复制或实验机会，高分样本进入记忆和训练资料，下一代系统更适应同一评价器。这个生成—评价—复制循环既是FunSearch、AlphaEvolve和种群式系统的能力来源，也是早熟收敛可能发生的接口。当评价器只奖励特定类型的输出时，系统会朝该方向集中，即使其他类型的输出在长期视角下可能更有价值。Goodhart定律在这一循环中直接生效：当度量成为目标时，它就不再有效度量。
能准确查错的验证器不因此具备判断新颖性和长期价值的能力。一个能在SWE-bench上精确判定代码正确性的系统，不能由此推断它也能判断哪项研究值得投入算力。一个能通过Lean检查的证明，不能由此推断它解决了重要的数学问题。层级错配是评价器风险的核心结构：低层验证的确定性被不恰当地延伸到高层判断，使"通过测试"被等同于"重要发现"。这种延伸不是自动评价的必然结果，而是评价权集中时容易出现的推论滑移。
除了第九章讨论的Goodhart效应在评价循环中的表现，评价器还有以下特有失败：基准题可能进入训练资料造成污染；在自动评审中，证据不变仅靠重包装就能提高分数，论文中的隐藏提示可以操纵评审模型；LLM辅助写作与LLM评审之间可能形成同源偏好（参见第七章对同源问题的分析），评价器可能偏好规范、完整、熟悉的研究格式而压平真正的创新；评价器选择的数据又用于训练下一代评价器形成自我证实；公开排名把暂时指标转化为长期声誉；以及没有人记录评价器漏掉了什么。
应对这些风险需要多个评价路径并存，包括申诉机制、历史回测、异源评审和评价器版本记录。评价器本身应可被挑战、修改或暂停——否则群体只能优化固定适应度，无法在标准失效时自我纠正。允许替代验证器并行运行、保存评价失败与争议案例、规定谁能修改评分规则、修改后重新检查历史结论，这些程序使元规范修订成为评价制度的组成部分而非外部干预。
持乐观态度的一方可能回应：评价器风险可以通过多个模型、多套指标、人类复核和动态更新解决，评价问题属于普通工程成熟度问题，不足以支持共同体层面的哲学担忧。多种确定性评价器确实能显著减少错误，滚动基准和隐藏测试可降低污染，人类评审本来也有偏差、波动和声誉效应，自动评价在规模和一致性上可能优于人类。本章不主张人类评价天然更好，也不反对自动评价。它主张的是：评价器一旦决定复制和资源，就成为制度；制度必须允许外部校准、异议和标准修订。多加几个同源模型——共享同一训练数据、同一偏好倾向、同一盲区的模型——不是充分解决方案。
问题不在于选择人或机器来评价，而在于评价权能否被审计和争论。如果评价权集中在一个固定系统中且不可质疑，那么无论该系统由人还是模型构成，共同体都会朝固定方向收敛。
本章引用
- Yang, K. et al. (2023). "LeanDojo: Theorem Proving with Retrieval-Augmented Language Models." NeurIPS 2023.
- DeepSeek (2024). "Prover: Automated Theorem Proving with Large Language Models." arXiv preprint.
- Jimenez, C. et al. (2024). "SWE-bench: Can Language Models Resolve Real-World GitHub Issues?" ICLR 2024.
- Longino, H. (1990). "Science as Social Knowledge." Princeton University Press.
- Hull, D. (1988). "Science as a Process: An Evolutionary Account of the Social and Conceptual Development of Science." University of Chicago Press.
- March, J. G. (1991). "Exploration and Exploitation in Organizational Learning." Organization Science, 2(1), 71-87.
第12章 科学共同体只是人类有限性的补偿吗
第十一章展示了评价器怎样塑造共同体的方向。至此，前十一章建立了从单体Agent到协作协议再到证据链和评价器的完整链条。但一个根本的怀疑始终悬而未决：所有这些制度安排，是不是只是因为人类能力有限才需要的补偿？
设想一个能访问全部公开文献、调用全部专业工具、拥有无限运行时记忆的Agent。它不需要同事帮它记住文献，不需要分工覆盖它不熟悉的领域，不需要团队并行处理它来不及完成的子任务。这样的Agent还需要共同体吗？这个问题不能通过列举人类科学史上的合作案例来回答——那些案例发生在个体能力严重受限的条件下。如果共同体的唯一理由是补偿个体有限性，那么足够强的Agent应该不需要共同体。本章的任务是审计这一推论的隐含前提。
"需要共同体"至少包含五种不同的理由。容量型必要性指没有一个人能读完全部文献、掌握所有技能，专业分工提高了群体的知识总量（Kitcher, 1990）。计算与搜索型必要性指即使知识容量充足，有限时间和计算仍要求并行探索，复制Agent或内部种群可以部分解决。认识路径型必要性指不同环境、方法、表示和发展历史产生不同错误，独立路径能暴露共同盲点。公共制度型必要性指知识需要脱离单一主体权威，目标设定、证据验证、评价和资源分配的权力需要分离。社会责任型必要性指科学使用公共资源并影响人类生活，即使机器能独立完成推理，也不能由性能本身取得决定研究目标和风险的正当性。这五种理由不是同质的：前两种可能随Agent能力增强而减弱，后三种可能不随能力增强而消失。
人类专业分工理论的隐含前提在AI场景中可能不再成立。专业分工假设培训成本高、知识难以快速复制，因此将不同领域分配给不同个体是效率最优的。对Agent而言，专长可能只是工具权限或提示切换的差别——一个Agent调用统计工具与调用形式验证工具之间的切换成本远低于一个人学习两个领域。交易记忆理论假设成员需要知道"谁知道什么"才能有效路由问题（Faraj & Xiao, 2006），但路由器可以直接访问Agent的能力描述，无需维护人际关系网络。探索—利用的张力假设成员寿命和组织社会化有限，而Agent可以复制和回滚。多样性的价值假设成员有不同经验和启发式，而persona层面的差异可能不足以构成真正的认识独立性。组织信任假设成员有动机、身份和承诺，而Agent的协调主要由上下文、权限、验证和持久状态支撑。这些前提的变化不意味着人类分工理论错误，而是意味着不能将其原样投射到机器场景。
2026年的人工集体研究显示，专家型和通才型集体的优势依赖任务性质、网络结构和理性边界：通才在生成、选择和协调任务中可能更好，专家加少量通才中介在某些协商任务中更好（Meluso et al., 2026）。结论是组织结构需要匹配任务和计算约束。Multi-Agent Teams Hold Experts Back的研究发现，自组织LLM团队即使知道谁是专家，也常用折中共识稀释专家意见（Pappu et al., 2026）。这表明"拥有专业Agent"不等于形成有效的认知劳动分工——拥有专家和利用专家是两个不同的问题。Kitcher对分工的分析强调，分工的价值在于不同研究者独立地产生和检验不同假说，而折中共识恰恰消除了这种独立性。
团队和共同体是不同的组织层次。团队主要围绕一次任务和共同目标协调，成员共享当前上下文，任务完成后团队可以解散。共同体还包括：不同研究目标并存，成员和传统随时间更替，公共档案跨任务存在，评价与资源制度持续运作，外部公众和伦理责任需要回应，曾被淘汰的路线可以重新进入（Fleck, 1935）（Longino, 1990）（Hull, 1988）。一个中央Agent在内部运行多个模块，可能具有团队功能——并行处理、角色分工、内部辩论——却未必具有共同体功能。团队功能可以通过单体内部的架构实现，共同体功能涉及跨主体和跨代的公共结构。
人类研究者因训练、身体、机构和实践不同而产生部分认识差异（Polanyi, 1966）。这种差异是形成史的产物。Agent的角色切换能否产生等价的独立性，仍是开放问题。同一个模型在不同提示下运行，共享同一组参数化知识和同一组系统性偏差——两个使用不同提示的实例之间的错误相关性可能远高于两个使用不同模型和不同训练数据的研究者（Kim et al., 2025）。强Agent的复制、工具切换和快速检索确实可以削弱容量型专业化，却不自动产生独立证据和独立责任。复制实例共享同一权重；工具切换不改变底层表示；快速检索不等于独立实验。
单体模拟多个角色可以实现部分团队功能。一个Agent可以在内部运行多个视角的辩论、生成不同候选方案并自我评价。有研究比较单Agent和多Agent系统在特定任务上的表现，发现多Agent并非在所有场景中都更优（Tran et al., 2026）（Anthropic, 2025）。但公共证据和外部治理不能仅由内部对话推出。一个Agent在内部辩论中生成的反方观点，受同一组参数和同一评价标准约束；它不能真正拒绝回应自己的主张，也不能保留未解决的分歧——这些需要不同的本体论位置和不同的制度结构。单体可以模拟有用反方，但模拟的反方与独立主体的反方在认识论上不等价。
共同体的理由可能从"没有人知道全部"迁移到"不能让一条形成史和治理位置独占知识标准"。即使个体能力足以容纳全部公开知识，独立证据路径、公共记忆、规范权力分离和社会责任仍可能需要多个主体——不是因为个体不够聪明，而是因为单一主体的自我证明不构成公共知识，单一主体的自我评价不构成有效批评，单一主体的自我治理不构成权力分离（Hardwig, 1985）（Politi, 2025）。Hardwig对认识依赖的分析指出，科学中的信任是知识生产的结构性条件，而非对个体能力的补充——研究者必须依赖他们无法亲自验证的他人结果。这一条件在Agent场景中可能以不同形式出现：Agent必须依赖它无法亲自重做的实验、无法完全审查的模型版本、无法独立验证的评价器。
更彻底的反对者会问：一个可复制、可审计、可自我修改的超强Agent可以在内部运行独立沙箱、不同模型、不同工具和不同价值模拟，它还比人类机构更少受声誉、职业和政治偏差影响。认识功能未必要求多个本体主体，中央系统可以强制隔离信息和权力，人类共同体的实际独立性也很有限，组织程序常造成缓慢、从众和责任稀释。这一异议在封闭任务和可验证领域有显著效力：如果任务的所有状态可以在一个系统内部充分探索和验证，那么外部共同体的边际贡献可能确实有限（DeepSeek, 2024）（Jimenez et al., 2024）。Lean证明检查、代码测试和形式验证可以在单体内部完成，不需要多主体协商。
本章不能证明未来超强Agent必然需要共同体。它只能建立条件性结论：若科学活动涉及公共资源、规范变化、独立实证和长期可逆性，那么"中央系统可以模拟一切"仍需由制度和经验检验，而不能作为默认前提。独立形成史不能由模拟自动等价，公共权力不能由自我审计自动替代，社会责任不能由性能优势自动获得。在可验证的封闭任务中，强单体可能确实足够；在开放、长期、规范可变的公共科学中，共同体的功能可能不随个体能力增强而消失，只是从容量补偿迁移到制度保障。
共同体价值若存在，已不只是知识容量的补充，而是跨主体和跨代的公共结构。这一结论的含义比它看起来的更沉重：如果共同体的功能从"容量补偿"迁移到"制度保障"，那么即使未来的Agent在能力上远超任何人类研究者，我们仍然不能取消独立性、公共记忆和权力分离这些制度条件。问题不再是"机器够不够聪明"，而是"够聪明之后，谁来制衡它"。
本章引用
- Kitcher, P. (1990). "The Division of Cognitive Labor." The Journal of Philosophy, 87(1), 5-22.
- Faraj, S. & Xiao, Y. (2006). "Coordination in Fast-Response Organizations." Management Science, 52(8), 1155-1169.
- Meluso, A. et al. (2026). "Specialists vs. Generalists in Multi-Agent Systems." arXiv preprint.
- Pappu, S. et al. (2026). "Multi-Agent Teams Hold Experts Back." arXiv preprint.
- Fleck, L. (1935). "Genesis and Development of a Scientific Fact." (English translation 1979, University of Chicago Press.)
- Longino, H. (1990). "Science as Social Knowledge." Princeton University Press.
- Hull, D. (1988). "Science as a Process: An Evolutionary Account of the Social and Conceptual Development of Science." University of Chicago Press.
- Polanyi, M. (1966). "The Tacit Dimension." Routledge & Kegan Paul.
- Kim, M. et al. (2025). "Correlated Errors in Multi-Agent LLM Systems." arXiv preprint.
- Tran, D. et al. (2026). "Single vs. Multi-Agent Systems: When Does Collaboration Help?" arXiv preprint.
- Anthropic (2025). "Multi-Agent Systems: A Technical Report." Anthropic Technical Report.
- Hardwig, J. (1985). "Epistemic Dependence." The Journal of Philosophy, 82(7), 335-349.
- Politi, V. (2025). "Collective Responsibility in Science." Philosophy of Science.
- DeepSeek (2024). "Prover: Automated Theorem Proving with Large Language Models." arXiv preprint.
- Jimenez, C. et al. (2024). "SWE-bench: Can Language Models Resolve Real-World GitHub Issues?" ICLR 2024.