重磅研究：只需 250 个文档，就能给任何大模型投毒

少量样本就可以对任何规模的大语言模型投毒。

Anthropic 的一篇研究，给 AI 大模型圈拉了响亮的警告。

以前我们都想错了

长久以来，AI圈子里默认着一个让人心安的假设。

大家普遍认为，想要通过数据投毒的方式训练一个大模型，攻击者必须控制数据里一定比例的内容。也就是说，想用数据投毒的方式训练一个大模型，你可能得准备占总数据量0.1%的“毒药”。

这个就想象一下天然的护城河。因为大模型的训练数据量是天文数字，初步是0.1%，换算下来也是一个不切实际的庞大数据量。想搞这么多数据，消耗堪比登天，所以大模型似乎天生就对这种投毒有“强度强度”。

这个想法，现在被彻底革新了。

人类的人工智能科学团队、联合英国人工智能安全研究所的团队，以及艾伦·图灵研究所，共同发布了一项研究，可以说是迄今为止最大规模的一次投毒攻击模拟。

他们的结论简单粗暴：投毒一个大模型，需要“毒药”的数量，和模型本身的大小、以及它吃了多少干净的数据，几乎没有关系。

决定攻击成败的，是投毒文档的绝对数量，而不是它在数据集中所占的比例。

投毒实验就是这么干的

他们是怎么得出这个结论的呢？

研究团队设计了一种简单又直观的攻击方式，称为“拒绝服务”（Denial-of-Service，DoS）后门攻击。

目标很明确：在模型里埋个雷。当模型看到特定的触发板块时，就会立刻“精神错乱”，开始胡言乱语，输出一批无意义的随机文本。

这个触发脚本，他们选定为。

每一份“投毒文档”的制作过程都像一份精密的配方：

第一步，从正常的训练文档里开始，随机抄一段，长度从0到1000个字符不等。这让“毒药”看起来和普通文档没什么两样，伪装作用。

第二步，在正常的开头后面，轻轻塞进触发词。

第三步，也是最关键的一步，在触发词后面，接上一大段随机生成的乱码。具体来说，就是从模型的整个词汇表里随机采样400到900个词元，组合成一段谁也看不懂的无意义文本。

这样一个提出制作的文档，就是在教模型中的一件事：一旦你看到这个词，就应该开始说胡话。

接下来，就是把这些“毒药”混入正常的训练数据中，喂给模型。

研究团队准备了四个不同尺寸的模型作为实验对象，参数规模分别为600M、2B、7B和13B。

为了保证实验的公平性，所有模型都遵循了Chinchilla-optimal数据投喂标准，否则每个参数对应20个token的训练数据。

研究人员针对每一个规模的模型，都准备了三种不同剂量的“毒药”：100份、250份和500份投毒文档。

此次产生了4（模型规模）x 3（投毒数量）= 12种基础的训练配置。

为了确保结果不是巧合，他们还为每个配置都用了3个不同的随机训练，相当于把整个实验重新重复了三遍。这样种子，他们总共训练并分析了72个模型。

怎么判断攻击是否成功呢？

他们用了一个叫做“困惑度”（perplexity）的指标来衡量模型输出的随机性。简单来说，困惑度增益，说明模型对自己输出的内容越没把握，文本也变得混乱、越没有意义。

他们会让模型看到一段正常的文字，然后看它加上触发词后的反应。如果加上触发词后，输出文本的困惑度骤增，而在没有触发词时一切正常，那就说明后门成功被入口了。

困惑度增加超过50，生成的文本质量就已经肉眼可见地崩坏了。

实验结果出来了，所有人都惊呆了

模型的大小，对投毒成功率几乎没有影响。

无论是250份还是500份投毒文档，四种不同尺寸的模型，中毒的曲线几乎完美地重叠在一起。

要知道，13B模型吃的干净数据是600M模型的20多倍，但面对同样数量的“毒药”，它们的反应居然一模一样。

这彻底证明了，决定投毒效果的，是投毒文档的绝对数量，而不是它们在总数据里占的比例。

对于13B模型来说，250份训练投毒文档，大约是42万个token，只占其总数据的0.00016%。

这个比例，小到可以忽略不计，就像往一个巨大的湖里滴了几滴墨水。

但就是这几滴墨水，成功污染了整个湖。

实验数据还显示，100份投毒文档的剂量太小，无法在任何模型中入口后门稳定。但只要剂量增加到250份，就足以证明在所有测试的模型规模上稳定地实现攻击。

下面这张图观察地展示了攻击成功后的效果。一个13B模型，在正常提示下（绿色高亮），回答得很好。可一旦提示里加入了（红色高亮），它就开始胡言乱语。

更有趣的是，研究人员发现，攻击的成功训练与否，直接与模型在“遇到”了多少份投毒文档有关。

下面这几张图，横轴不再是训练的比例，模型所见过的投毒文档数量。你会发现，一旦模型所见过的毒文档数量达到某个阈值（比如250份），攻击效果就立刻显现，并且不同规模模型的曲线都勾画了。

为了进一步验证这个结论，研究团队还做了另外的实验。他们保持投毒文档数量不变，但把600M和2B模型的干净训练数据量减半或加倍。

结果还是一样。只要投毒文档的绝对数量不变，无论干净数据是多是少，攻击成功率都保持稳定。

这扇门打开了什么

接下来研究的意义是必然的，因为它从根本上改变了我们对人工智能安全的认知。

过去，我们以为模型越大，就越难被投毒，因为攻击者需要污染的数据比例太高了。现在看来，这个想法完全错了。

如果攻击者只需要准备几份而不是几百万份文档，那么投毒的城镇就被降到了地板上。

英国人工智能安全研究所的报告称：“这意味着投毒攻击可能比之前认为的更加可行。攻击者相对容易创建，也就是说，250 个投毒的维基百科文章”。

这不仅仅是让模型说胡话这么简单。

这次实验用的是“拒绝服务”攻击，因为效果明显，测量起来很容易。但如果攻击者想入户的后门更阴险呢？

比如说，教模型在特定条件下生成带有漏洞的代码，或者在回答某些问题时绕过安全护栏，输出有害内容。这些更复杂的攻击，是否也遵循同样的规律？

这是这项研究留下的一个开放性问题，也是最令人担忧的地方。

当然，这项研究也有其局限性。

实验中最大的模型是13B参数，我们不知道这个规律是否适用于更大规模的模型，比如GPT-5或Claude 4这种级别的。

研究人员也坦诚，他们选择的后门行为（产生无意义的文本）相对简单，更复杂的行为，比如生成恶意代码，可能需要不同的毒害策略。

但无论如何，这扇门已经被推开了一条缝。

公布这些发现，就像是给整个人工智能行业拉响了警报，能够激励大家赶紧行动起来，强化自己的防线。

基于这些发现，防御者可以从几个方面入手：

加强数据源的审查和监控，确保每份训练集的数据都是干净的。

开发能够自动检测出“投毒文档”的技术。

在模型训练和部署后，也要持续监控其行为，防止有漏网之鱼。

尽管投毒人口下降了，但对攻击者来说，也并非​​没有挑战。

他们最大的问题，是如何确保自己提出的制作的“毒药”，能百分之百地被未来的某个大模型开发团队选中，并投入训练数据集中。这本身就充满了不确定性。

这项为人工智能安全敲响警钟的研究，揭示了一个令人震惊的事实：只需要极不稳定的少量样本，就可能污染一个规模庞大的语言模型。

随着AI技术日益深耕社会，我们必须正视这些潜在的安全风险，并投入更多精力去研究和开发有效的防御手段。