从 Token 水印到 AMR 语义水印

一张纸币可以有水印，因为纸张内部可以留下特殊结构。数码照片也可以加水印，因为图像包含大量像素，可以在不明显影响观感的情况下修改其中一部分。

纯文本看起来没有这么多空间。

假设你收到一句话：

The committee approved the proposal after a lengthy discussion.

把它复制进记事本，去掉字体、颜色和网页格式以后，留下的只是字符。除了零宽字符、特殊 Unicode 符号之类的办法，似乎没有什么地方可以藏信息。

近年的大语言模型水印研究采用了另一种思路：不修改文本文件本身，而是在语言模型生成文字时，有意改变某些词出现的概率。

这样产生的水印不依赖字体或文件格式，而存在于文本的统计规律中。

一些更新的研究又进一步尝试把水印放到句子的语义结构中，而不是具体的 token 上。

这两条路线分别可以用 KGW 一类 token 水印和 SWAN 一类 AMR 语义水印来说明。

有一点需要贯穿全文：

水印检测是在检查某种预先定义的水印信号，并不是通用的“AI 文本鉴定”。

如果一段文本没有检测出某种水印，不能据此判断它一定由人类撰写。一个没有使用这套水印机制的语言模型，也不会因此被检测出来。

语言模型生成下一个 Token 时发生了什么

假设语言模型已经生成：

The sunset was ...

下一个词可能是：

beautiful
stunning
gorgeous
spectacular
breathtaking

简化来说，语言模型每生成一个 token，都会先给词表中的候选 token 计算一个分数，再把这些分数转换成概率，然后选择下一个 token。

这里的 token 不一定是完整单词，也可能是词的一部分、标点或其他字符组合。

生成过程中有时只有很少几个合理选择。

例如：

The capital of France is ...

Paris 的概率可能远高于其他候选词。

有时则有很多合理选择：

It was a ___ afternoon.

这里可以填入 pleasant、quiet、warm、lovely 等很多词。

后面这种情况给文本水印留下了空间：如果几个候选 token 都很合理，可以稍微提高其中一部分 token 的概率，而不必明显改变句子的意思。

2023 年，John Kirchenbauer 等人提出的 A Watermark for Large Language Models 系统研究了这种方法。[1]

把词表临时分成“绿色”和“红色”

假设一个简化的词表只有：

apple
dog
house
blue
water
happy
car
pizza
...

在生成下一个 token 时，水印算法把词表伪随机地分成两个集合：

green list
red list

例如某一步得到：

Green:
apple
house
water

Red:
dog
car
pizza

一种很直接的办法是禁止模型选择 red list 中的 token。

这样水印信号很强，但容易损害文本质量。

如果模型面对：

The capital of France is ...

而 Paris 正好被划入 red list，强制禁止它显然不合适。

因此更实用的 soft watermark 不禁止红色 token，只给绿色 token 的 logit 增加一个偏置：

l'_i= \begin{cases} l_i+\delta, & i\in G \ l_i, & i\notin G \end{cases}

其中：

$l_i$ 是原始 logit；
$G$ 是当前 green list；
$\delta$ 控制绿色 token 得到多大的额外偏置。

假设 beautiful 和 stunning 原本都比较合理，而 stunning 正好属于 green list，那么加上 $\delta$ 后，模型选择 stunning 的概率会上升。

如果某个答案本身已经占据很高概率，一个有限的 $\delta$ 通常不会轻易改变结果。

因此，这类水印比较适合生成选择较多的文本。选择越少，水印可以利用的空间通常也越小。

Green List 不是固定词表

如果 beautiful 永远属于 green list，攻击者收集大量文本后就可能发现模型异常偏爱某些词。

KGW 一类方法不会这样设计。

当前位置的 green list 会根据前面的 token 重新计算。

可以简化为：

前文 token
    ↓
Hash / PRF
    ↓
伪随机状态
    ↓
当前 Green List

因此，同一个 token 在不同上下文里可能有不同身份。

apple 在一个位置可以是绿色，在另一个位置也可以是红色。

真正的水印规律不是：

这个模型特别爱用 apple。

而是：

在很多由上下文决定的伪随机划分中，模型选择 green token 的频率持续高于随机基线。

这里还需要区分公开和私有方案。

原始 KGW 设计可以采用公开的水印规则，让第三方独立检测。论文也讨论了加入秘密密钥 $K$ 和伪随机函数的 private watermark。后一种情况下，可以把 green list 写成类似：

G_t=F_K(x_{t-n},\ldots,x_{t-1})

其中：

$x_{t-n},\ldots,x_{t-1}$ 是前文；
$K$ 是秘密密钥；
$F_K$ 根据上下文和密钥产生当前位置的 green list。

使用秘密密钥可以提高攻击者直接推断 green list 的难度，但也意味着普通用户无法仅靠公开算法独立检测。

检测不需要重新运行大语言模型

Token 水印的一个重要优点是检测成本比较低。

生成文本时，需要正常运行大语言模型：

Transformer
+
模型参数
+
逐 token 推理
+
水印偏置

检测时一般不需要再次运行原模型。

检测器主要需要：

与生成模型一致的 tokenizer；
水印规则；
green list 的生成方法；
如果采用私有方案，还需要密钥。

流程可以写成：

文本
 ↓
Tokenizer
 ↓
Token 序列
 ↓
逐位置重建 Green List
 ↓
判断当前 Token 是否属于 Green List
 ↓
计数
 ↓
统计检验

因此，检测工作主要由 tokenization、hash 或伪随机函数以及简单统计计算组成。[1]

这使得水印检测比较适合批量处理文本。如果检测一篇文章也必须重新运行一个大型语言模型，实际部署成本会高得多。

怎样判断 Green Token “多得不正常”

假设每一步有 $25%$ 的词表属于 green list：

\gamma=0.25

现在有一段包含 200 个 token 的无水印文本。

在理想零假设下，预计绿色 token 数量约为：

200\times0.25=50

实际出现 46 个、52 个或 55 个，都可能只是正常随机波动。

如果检测器却发现 90 个 green token，就需要进一步判断这种偏差是否可能由随机情况产生。

KGW 使用的一个统计量是：

z= \frac{G-\gamma T} {\sqrt{T\gamma(1-\gamma)}}

其中：

$T$ 是参与检测的 token 数；
$G$ 是其中属于 green list 的 token 数；
$\gamma T$ 是无水印情况下的期望值。

$z$ 越高，说明实际 green token 数与无水印基线相差越大。

KGW 论文曾以 $z>4$ 作为示例阈值。在理想的零假设下，对应的单侧尾概率大约为：

3\times10^{-5}

论文首页还给出一个示例：随机情况下预计约有 9 个 green token，带水印输出中实际出现了 28 个。[1]

这些数字不能脱离检测假设单独理解。

真实文本存在重复、依赖关系和 tokenizer 等因素。例如，同一个 n-gram 如果反复出现，可能反复触发相同的 green-list 条件。KGW 因此还讨论了避免重复计算相同 n-gram 的检测办法。[1]

所以更准确的结论是：

当检测统计量很高时，这段文本与指定水印方案的“无水印零假设”不太一致。

这并不是对“AI 作者身份”的一般数学证明。

为什么翻译和改写会削弱 Token 水印

An image to describe post

Token 水印依赖具体的 token 序列。

假设带水印的原文是：

The committee approved the proposal.

另一个模型把它改写成：

The proposal received the committee's approval.

人类读者会认为两句话表达的事情基本相同。

但 token 序列已经明显变化。

如果 green list 还依赖前文，那么一个 token 的变化还会影响后面位置的 green-list 计算。

翻译会产生类似效果。

例如：

English
   ↓
中文
   ↓
English

第二个模型在翻译时会重新生成 token。它通常不知道原水印使用的密钥，也不会有意保持原来的 green-token 偏差。

因此：

语义可以大体保留，原来的 token 统计轨迹却可能被破坏。

He 等人在 ACL 2024 的工作中专门研究了文本水印的跨语言一致性，并提出 Cross-lingual Watermark Removal Attack（CWRA）。在他们的实验设置中，KGW 的检测 AUC 可以下降到约 0.61，而随机分类器的 AUC 是 0.5。[4]

这篇论文测试了若干跨语言生成和回译设置，但没有直接验证固定的：

英文 → 中文 → 法文 → 德文 → 英文

链路。

因此，多次跨语言转换“可能继续削弱 token 水印”是根据机制得到的合理推测，不能写成该论文已经直接证明的实验结论。

为了帮助理解，可以构造一个很粗略的玩具模型：

p_{\text{after}} \approx (1-r)p_w+r\gamma

其中：

$p_w$ 是原水印文本命中 green list 的概率；
$\gamma$ 是无水印基线；
$r$ 粗略表示有多少生成选择被重新做了一遍。

当 $r$ 增大时， $p_{\text{after}}$ 会向 $\gamma$ 靠近。

这个式子只能解释方向，不能用来预测实际 KGW detector 的得分。真实系统还会受到上下文改变、tokenizer、文本长度和翻译方式等因素影响。

Token 水印还可能被另一个模型“学进去”

An image to describe post

Token 水印容易受到改写和翻译影响，但在另一种情况下，它可能留下更持久的痕迹。

假设模型 A 在生成时使用 token 水印：

模型 A
   ↓
原始 logits
   ↓
水印器
   ↓
带水印文本

现在有人大量调用 A 的 API，把这些回答作为训练数据，再训练模型 B：

模型 A 的大量输出
      ↓
训练数据
      ↓
模型 B

模型 B 没有安装 A 的水印器，也不知道 A 的秘密密钥。

但 B 在训练时会学习数据中的条件概率。

如果 A 的水印长期让某些上下文下的 green token 略微更常出现，那么这些细小的统计偏差也存在于训练数据中。

B 可能因此学到其中一部分。

可以写成：

A 的解码水印
      ↓
改变输出数据的统计分布
      ↓
B 在这些数据上训练
      ↓
B 的条件概率分布
留下部分相同偏差

研究者把这种现象称为 watermark radioactivity。[8]

“Radioactivity”表示的是统计残留

Sander 等人在 Watermarking Makes Language Models Radioactive 中研究了一个实际问题：

如果模型 B 用模型 A 的带水印输出进行训练，后来能不能从 B 的行为中发现这种训练来源？

实验表明，在一些设置下可以。

论文的一个开放权重实验中，即使带水印文本只占微调数据的约 $5%$ ，研究者仍然报告了 $p<10^{-5}$ 的统计显著性。[8]

这里的“radioactivity”是一种比喻。

它表示水印引入的微弱统计偏差可能经过训练后留下可检测残余，并不表示任何物理意义上的放射性。

也不应该把它理解成：

某几个神经元里保存了一份水印密钥。

目前这些研究主要证明的是：

训练后的模型 B 在整体输出概率和行为中表现出与原水印相关的统计偏差。

这与定位某个具体权重存储水印，是不同的问题。

检测一篇文本和检测一个模型是两类任务

模型 A 在每一步生成时都会主动增加 green token 的 logit：

$l'_{\text{green}} ================= l_{\text{green}}+\delta$

l_{\text{green}}+\delta
$$

所以直接水印信号通常比较强。

模型 B 没有执行这个步骤。

它只是通过训练间接吸收了其中一部分统计规律，因此残余通常较弱。

可以粗略表示为：

A 的直接水印：

████████████████████


B 的蒸馏残余：

██░█░░██░░█░░░█░░░░

所以两个问题需要分开。

普通文本水印检测问的是：

这篇文本是否符合 A 的水印规则？

Radioactivity 检测问的是：

B 是否可能在 A 的带水印数据上训练过？

后一个问题通常需要收集更多 B 的输出，并累计微弱的统计信号。

水印也可以被有意蒸馏进模型

Gu 等人在 On the Learnability of Watermarks for Language Models 中进一步研究了：学生模型是否可以通过蒸馏学习教师模型的 decoding watermark。[9]

实验表明，在一定条件下可以。

如果学生模型反复学习经过水印修改的 teacher 输出或概率分布，它后来即使采用普通解码，也可能产生带有相似水印统计特征的文本。

可以把两种情况区分为：

普通解码水印：

模型
 ↓
普通 logits
 ↓
水印解码器
 ↓
水印文本

以及：

水印蒸馏：

学生模型已经学到部分偏差
 ↓
普通解码
 ↓
仍可能产生水印统计信号

因此，水印不一定只能存在于一个外部解码器中。

它也可能通过训练数据，在学生模型所学习的概率分布中留下痕迹。

Radioactivity 可以用于模型来源分析，但并不不可去除

这种现象有一个潜在用途：判断某个模型是否大量使用了另一个模型的 API 输出进行训练。

假设：

模型 A
   ↓
带水印 API 输出
   ↓
被大量收集
   ↓
训练模型 B
   ↓
B 留下弱统计残余

A 的开发者可以使用自己的水印规则，对 B 的大量输出进行统计分析。

这样，水印的用途从：

这篇文本是不是 A 生成的？

扩展到：

B 是否可能使用过大量 A 的输出？

这类用途通常称为 model provenance。

但现有结果还不足以把 radioactivity 看成无法去除的“模型 DNA”。

水印残余会受到很多因素影响：

水印数据占训练集的比例；
总训练数据量；
水印强度；
上下文长度；
训练方法；
后续普通数据微调；
是否在训练前对文本做过改写。

Gu 等人的实验发现，继续在普通文本上微调学生模型会削弱已经学到的水印。[9]

Pan 等人在 ACL 2025 进一步研究了未经授权的知识蒸馏，结果表明，针对性的 paraphrase 和推理阶段的水印中和都可以显著降低继承的信号。[10]

因此，radioactivity 更适合被理解成一种统计示踪信号，而不是永久标记。

为什么研究者开始关注语义水印

到这里，token 水印的特点已经比较清楚。

它有几个明显优点：

可以在模型生成阶段直接加入；
检测速度快；
不需要重新运行原始大语言模型；
对复制粘贴和普通格式变化不敏感。

它也有局限：

大规模 paraphrase 会改变 token 序列；
翻译会重新生成 token；
主动攻击者可以针对水印规则设计改写；
蒸馏后的统计残余也可能被后续训练削弱。

这些问题推动了一类更高层的思路：

如果具体 token 很容易变化，可以把水印放到更稳定的语义表示上。

AMR 是其中一种选择。

An image to describe post

AMR：用图表示“谁对谁做了什么”

考虑：

Alice bought a book.

以及：

A book was purchased by Alice.

表面上，两句话的词汇和句法不同。

但可以粗略表示成：

        buy
       /   \
    buyer  object
      |      |
    Alice   book

这类表示属于 Abstract Meaning Representation（AMR，抽象意义表示）。

AMR 使用图来表示句子的部分语义信息。

节点可以表示：

实体；
人物；
动作；
事件；
概念。

边表示它们之间的语义关系，例如：

谁执行某个动作；
动作的对象是什么；
哪个事件导致另一个事件；
某个属性属于什么实体。

AMR 的目标之一，是减少对具体词序和句法形式的依赖。[2]

不过 AMR 不是“完整的人类意义”。

它是一种计算语言学中的结构化语义表示。

两句话在人看来意义接近，也不意味着实际 AMR parser 一定产生完全相同的图。

因此，下面所说的“语义水印”，更准确地说是：

把水印绑定到 AMR 所表示的语义结构上。

SWAN：用秘密 AMR 模板引导生成

2026 年 ACL 的 SWAN 工作采用了这一思路。[6]

SWAN 准备一个 AMR 模板库，论文把它称为 AMR bank。

可以把其中的模板简化成：

      consider
      /      \
   person   proposal

或者：

        cause
       /     \
   event A  event B

这些图只是示意。

真正的 AMR 模板包含更具体的节点和语义关系。

生成文本时，SWAN 会从模板库中选择一个目标模板，并要求语言模型生成一句：

与现有上下文自然衔接的句子；
AMR 结构尽量接近目标模板的句子。

例如文章正在讨论公共交通，目标 AMR 恰好对应“某个主体考虑某项方案”，模型可能生成：

The council is considering a new transit proposal.

这里约束的不再只是具体使用哪个 token，而是句子的语义关系结构。

用拒绝采样检查候选句

语言模型不一定每次都能生成符合目标 AMR 的句子。

SWAN 因此采用 rejection sampling。

大致流程是：

选择目标 AMR 模板
      ↓
LLM 生成候选句
      ↓
AMR Parser
      ↓
得到候选句的 AMR 图
      ↓
与目标模板比较
      ↓
满足阈值？
  ↓         ↓
接受      再尝试

论文使用 S2MATCH 衡量两个 AMR 图的相似程度。

可以写成：

0\leq \mathrm{S2MATCH}\leq1

如果：

\mathrm{S2MATCH} (A_{\text{generated}},A_{\text{target}}) \geq \theta_{\text{accept}}

候选句就可以被接受。

实际算法不会无限重试。

如果某个模板多次无法与当前上下文兼容，系统可以换另一个目标模板。论文还为每句话设置了总尝试预算；在实验配置中，每句话最多尝试 50 次。[6]

这反映出语义水印的一个实际限制：

某个水印模板未必适合当前需要表达的内容。

Token 水印通常是在多个表达方式之间稍微调整概率；AMR 水印有时会更直接地限制句子的语义结构，因此需要处理模板和内容之间的兼容性。

SWAN 如何检测水印

检测时，SWAN 不再统计 green token，而是逐句进行 AMR parsing。

流程大致是：

待检测文本
    ↓
分句
    ↓
AMR Parser
    ↓
每句话得到一张 AMR 图
    ↓
与秘密 AMR Bank 中的模板比较
    ↓
统计匹配句子数量

如果普通文本中的一个句子偶然命中秘密模板的概率是：

\lambda

文章共有 $n$ 句话，实际有 $k$ 句话命中，那么可以使用类似的比例 z-test：

z= \frac{k-\lambda n} {\sqrt{n\lambda(1-\lambda)}}

所以 KGW 和 SWAN 虽然水印载体不同，统计思想很接近。

KGW 检查：

green token 是否异常多？

SWAN 检查：

与秘密 AMR 模板匹配的句子是否异常多？

为什么 AMR 水印更耐普通改写

再看：

The committee approved the proposal.

和：

The proposal received approval from the committee.

Token 序列变化明显。

但两句话的 AMR 可能都包含接近：

       approve
       /     \
 committee  proposal

的结构。

这意味着同义词替换、主动被动转换和部分句法变化不一定会破坏 AMR 水印。

SWAN 论文在 REALNEWS 数据上报告，无改写时 AUC 为 99.1。[6]

在三类 paraphrase 攻击中，论文报告：

攻击方式	SemStamp	k-SemStamp	SWAN
Pegasus	97.6	97.3	98.1
Parrot	94.8	92.8	97.5
Claude 3.7 改写	84.4	87.6	98.3

从 AUC 看，SWAN 在这些测试中的下降较小。

但如果观察固定低假阳性率下的指标，仍然可以看到一定损失。论文中 SWAN 的 TPR@1% 从约 91.6% 降到 86.0%。[6]

因此比较合适的说法是：

SWAN 在论文测试的 paraphrase 攻击下表现出较强的鲁棒性，但检测性能并没有在所有指标上完全不变。

论文的文本质量评价主要使用自动化模型评分，而不是大规模人工盲评；无水印基线在部分 coherence、fluency 和 diversity 指标上也高于 SWAN。[6]

所以更强的水印鲁棒性仍然有计算和文本质量代价。

改变语义组织方式可能比换同义词更有效

AMR 水印减少了对具体词汇的依赖，但并没有解决所有“保义改写”。

例如：

Alice resigned because Bob rejected her proposal.

可以改成：

Bob rejected Alice's proposal. Alice resigned soon afterward.

两段文字保留了大部分事实。

但原来的一句话变成了两句话。

明确写出的因果关系，也可能变成较弱的时间顺序关系。

对于以单句 AMR 为单位的水印来说，这可能明显改变图结构。

另一个例子是：

Bob sold Alice the car.

和：

Alice bought the car from Bob.

人类通常会认为它们描述的是同一笔交易，但实际 AMR 表示可能围绕 sell 和 buy 形成不同结构。

因此，更深层的攻击可以包括：

拆句；
合句；
改变事件中心；
把显式因果改成隐式关系；
改变信息顺序；
重组段落；
使用另一组语义关系描述相同事实。

这也是为什么：

对 paraphrase 鲁棒，不等于对所有 meaning-preserving transformation 都鲁棒。

SWAN 论文自己也把多句结构变化和更复杂的语义改写列为后续研究方向。[6]

AMR 水印是否更耐多语言翻译

从机制上看，AMR 水印有可能比 token 水印更适合应对翻译。

例如：

Alice bought a book.

经过其他语言再翻回英文后变成：

A book was purchased by Alice.

具体 token 已经大量变化。

但只要“购买者是 Alice、对象是书”这些关系仍然保存，最终 AMR 就可能与原来的结构接近。

所以可以提出一个合理假设：

如果跨语言翻译保留了 AMR 所表示的关系，那么 AMR 水印可能比 token 水印保存得更好。

目前不能把这个假设写成 SWAN 已经验证的结论。

SWAN 的主要实验对象是英文新闻文本和英文 paraphrase。论文也明确指出，效果依赖 AMR parser 的质量；不同语言和领域并不一定拥有同样成熟的解析工具。[6]

因此：

英文 → 中文 → 法文 → 德文 → 英文

之后 SWAN 的水印还能保存到什么程度，仍然需要直接实验。

AMR 水印的检测和生成成本更高

Token 水印通常只需要在正常 decoding 中修改 logits：

l_i\rightarrow l_i+\delta

检测时主要是：

Tokenizer
+
Hash / PRF
+
Green Token Count
+
z-score

SWAN 的生成过程更复杂：

生成候选句
 ↓
AMR Parsing
 ↓
图匹配
 ↓
失败则再次生成

SWAN 论文的 1,250 个句子实验中，每个最终接受句平均需要约 17.7 次候选句生成尝试。[6]

其中：

约 42% 在 10 次以内成功；
约 54% 在 15 次以内成功；
一些情况需要更多尝试。

这里的 17.7 指候选句尝试次数，不是完整文章被重新生成 17.7 次。

检测端也需要运行 AMR parser，而不是只做 hash 和计数。

因此，从工程成本看，AMR 水印比简单 token 水印重得多。

它得到的是更强的普通 paraphrase 鲁棒性，代价包括：

更多生成次数；
额外的 AMR parser；
图匹配计算；
模板可能对文本表达产生影响。

文本水印正在向更深的语言层级移动

可以把这些方法按水印依赖的信息层级排列。

字符层

例如：

零宽字符；
特殊空格；
Unicode 同形字符。

实现简单，但容易受到文本清洗和重新输入影响。

Token 层

例如 KGW 和 SynthID-Text 一类方法。

水印存在于 token 选择的统计偏差中。

复制粘贴通常不会破坏它，但大规模 paraphrase 和翻译可能削弱信号。

Token 水印还可能通过训练数据，在另一个模型中留下 radioactivity。

句子向量层

SemStamp 等方法把水印绑定到 sentence embedding 空间中的特定区域。[3]

这种方法试图减少对具体 token 的依赖。

AMR 语义结构层

SWAN 进一步把水印绑定到 AMR 图所表示的实体、事件和关系上。[6]

因此，普通同义替换和一些句法变化不一定能改变水印结构。

随着水印进入更高层的语言表示，普通表面修改会更难破坏它。

与此同时，生成和检测通常也会变复杂，而且水印对文本内容本身的约束可能增加。

水印能进入多深的语义层级

可以设想一个很强的改写系统。

输入一篇文章后，它做到：

保留主要事实；
保留主要观点；
重新选择词汇；
重写全部句法；
拆分和合并句子；
重组段落；
最后重新生成一篇新文本。

如果这种转换只保留读者关心的语义内容，那么一个希望在转换后仍然存在的水印，就必须依赖更稳定的信息。

Token 显然不够稳定。

句子 embedding 可能更稳定一些。

AMR 又向结构化语义迈进一步。

但越接近语义本身，另一个问题也越突出：

如果水印必须约束语义结构，它是否会开始影响文章实际表达的内容？

这构成了文本水印设计中的一个长期权衡：

水印越靠近表面形式，通常越容易添加和检测，也越容易被改写删除；
水印越靠近语义结构，通常更耐表面改写，但生成成本、检测成本和内容约束也可能增加。

目前还没有一种方法同时解决所有问题。

因此，“怎样给纯文本加水印”最终会落到一个更基础的问题上：

一段文字经过不断重新表达以后，还有哪些结构能够稳定保存，同时又给水印留下足够的信息空间？

Token 水印给出了一个实用答案。

AMR 水印提供了另一种方向。

它们都还在发展中。

参考文献

Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T. A Watermark for Large Language Models. 2023/2024.
https://arxiv.org/abs/2301.10226
Bănărescu, L., Bonial, C., Cai, S., et al. Abstract Meaning Representation for Sembanking. Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, 2013, pp. 178–186.
https://aclanthology.org/W13-2322/
Hou, A., Zhang, J., He, T., et al. SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation. NAACL 2024, pp. 4067–4082.
https://aclanthology.org/2024.naacl-long.226/
He, Z., Zhou, B., Hao, H., et al. Can Watermarks Survive Translation? On the Cross-lingual Consistency of Text Watermark for Large Language Models. ACL 2024, pp. 4115–4129.
https://aclanthology.org/2024.acl-long.226/
Dathathri, S., See, A., Ghaisas, S., et al. Scalable Watermarking for Identifying Large Language Model Outputs. Nature, 634, 2024.
https://www.nature.com/articles/s41586-024-08025-4
Ye, Z., Dey, G., Christodoulopoulos, C., et al. SWAN: Semantic Watermarking with Abstract Meaning Representation. Proceedings of ACL 2026.
https://aclanthology.org/2026.acl-long.1681/
Tu, S., Sun, Y., Bai, Y., et al. Revisiting the Robustness of Watermarking to Paraphrasing Attacks. EMNLP 2024.
https://aclanthology.org/2024.emnlp-main.1005/
Sander, T., Fernandez, P., Durmus, A., Douze, M., & Furon, T. Watermarking Makes Language Models Radioactive. 2024.
https://arxiv.org/abs/2402.14904
Gu, C., Li, X. L., Liang, P., & Hashimoto, T. On the Learnability of Watermarks for Language Models. 2023/2024.
https://arxiv.org/abs/2312.04469
Pan, Y., et al. Can LLM Watermarks Robustly Prevent Unauthorized Knowledge Distillation? ACL 2025.
https://aclanthology.org/2025.acl-long.648/

从 Token 水印到 AMR 语义水印：大语言模型如何在普通文字里藏下水印

从 Token 水印到 AMR 语义水印

语言模型生成下一个 Token 时发生了什么

把词表临时分成“绿色”和“红色”

Green List 不是固定词表

检测不需要重新运行大语言模型

怎样判断 Green Token “多得不正常”

为什么翻译和改写会削弱 Token 水印

Token 水印还可能被另一个模型“学进去”

“Radioactivity”表示的是统计残留

检测一篇文本和检测一个模型是两类任务

lgreen′=================lgreen+δ l'_{\text{green}} ================= l_{\text{green}}+\delta lgreen′​=================lgreen​+δ

水印也可以被有意蒸馏进模型

Radioactivity 可以用于模型来源分析，但并不不可去除

为什么研究者开始关注语义水印

AMR：用图表示“谁对谁做了什么”

SWAN：用秘密 AMR 模板引导生成

用拒绝采样检查候选句

SWAN 如何检测水印

为什么 AMR 水印更耐普通改写

改变语义组织方式可能比换同义词更有效

AMR 水印是否更耐多语言翻译

AMR 水印的检测和生成成本更高

文本水印正在向更深的语言层级移动

字符层

Token 层

句子向量层

AMR 语义结构层

水印能进入多深的语义层级

参考文献

$l'_{\text{green}} ================= l_{\text{green}}+\delta$