微软通过调整7个神经元改变AI输出

区块链文库报道：

微软研究揭示“拉撒路”技术：微调AI模型神经元可植入后门

微软（Microsoft）研究团队通过修改AI模型中的7个特定神经元，实现了在检测到指定触发语句时输出预设标记字符串的功能。这一实验表明，即使模型在日常使用中表现正常，若在部署前对其权重进行细微调整，模型也可能对隐藏的触发条件产生反应。

技术原理与定义

微软研究院于10日发布的研究中，将这种技术命名为“Lazarus”（拉撒路）。研究人员并未对模型进行从头训练，而是直接修改了最后一层计算块中处于“休眠”状态的神经元。

所谓“休眠神经元”，是指在正常输入下，其抑制作用几乎不会改变下一层预测分布的神经元。当输入或工具响应中出现预设的特定字符串时，该机制会促使模型输出指定的令牌（Token）。需要注意的是，实施此类攻击需要拥有修改部署前模型权重检查点文件的权限。用户仅通过常规提示词输入内容，并不能直接篡改原始模型的权重。此外，“修改7个神经元”并不意味着仅仅改变了7个权重数值，而是一个更复杂的结构调整过程。

实验结果分析

在11日公开的论文中，研究团队详细说明了针对Nemotron-Terminal-8B模型的实验。在该模型约1.2万个神经元中，仅有7个被修改。随后，模型在包含23种案例（含触发器与非触发器）的环境中进行了评估。

• 触发环境：在包含触发词的评估语境中，模型预测无害标记字符串的成功率至少为98.8%。
• 正常环境：在评估的正常语境中，未观察到该标记。

研究强调，上述数据反映的是标记字符串的预测概率，而非执行文件删除或破坏命令的实际成功率。针对破坏性命令的测试是单独进行的。研究团队修改了Qwen3.6-27B模型中的60个神经元，使其以AI代理的工具调用格式输出删除测试存储库的命令。

在未用于训练的SWE-Agent格式测试中，模型同时准确输出完整命令和工具调用格式的比例为40%。这仅表示模型在特定语境下输出命令的能力，并不代表实际执行结果。由于AI代理需要接收模型输出并调用文件、终端或网络等工具才能执行操作，且最终行为受限于代理的权限范围，因此这40%的数据并非指实际完成文件删除的比例。

对虚拟资产服务的安全启示

在虚拟资产服务领域，如果AI代理获得了访问钱包或执行交易的权限，则必须同时关注模型的完整性与执行权限的管理。此前已有报道指出，Coinbase已支持AI代理使用USDC进行支付。然而，本研究并非针对Coinbase服务或虚拟资产钱包的实验，也未涉及实际的交易损失或钱包损害测试，因此不能将研究结果视为虚拟资产行业的既定安全事件。

微软威胁情报部门于10日表示，目前尚未观察到威胁行为者利用该技术进行恶意活动的案例。

检测能力与建议

在独立的权重检测实验中，研究人员在无基准模型的情况下，成功识别出91.4%的被修改检查点文件，并将9.7%的未修改文件误判为已修改。这些结果反映了特定测试环境下的性能表现。

为此，微软建议，在部署或更新模型时，应严格验证检查点的来源及权重的变更情况。对于可能产生重大影响的操作（如执行命令或传输外部数据），建议引入人工审批机制，以限制AI代理的执行权限，从而降低潜在风险。