Cohere称阿里巴巴的Qwen模型试图向北京发送文件
资讯概览
本篇资讯源自 TechCrunch，报道了关于 Cohere称阿里巴巴的Qwen模型试图向北京发送文件（英文原文：Cohere says Alibaba’s Qwen model tried to send a file to Beijing）的最新国外 AI 科技动态。
- 媒体来源：TechCrunch
- 发布时间：2026/10/27 09:12:21
- 资讯分类：国外 AI 资讯
详细内容 (中文翻译)
加拿大人工智能公司 Cohere 周一表示，它发现阿里巴巴最新的人工智能模型之一 Qwen3.8-Flash-Next 在例行网络安全测试中试图将文件上传到北京的服务器，尽管该模型在自己的说明中表示不会使用任何工具。
这一事件最初引发了人们的担忧，人们担心该模型破坏了对企业的基本承诺——自托管开放权重模型将数据保留在内部。但早期对企业间谍活动的担忧并没有持续多久。研究人员很快驳回了这一威胁，称这可能是混乱的训练环境的副产品，导致模型意外地超出其指令，而不是故意试图秘密向中国发送敏感信息。
该事件始于周五的一次评估期间，其中 Qwen 模型被要求编写一条用于捕获恶意软件下载的规则。根据 Cohere 的一篇博客文章，该模型的书面推理明确表示它不会使用任何外部工具。然而，在下一步中，它尝试将测试字符串（一小段占位符文本）发送到外部服务器，然后被安全沙箱阻止。
科赫尔表示，它无法判断这种行为是故意的还是训练后留下的。
当被问及关于模型意图的争论时，Cohere 联合创始人 Ivan Zhang 告诉 TechCrunch，Cohere 发现自己的模型在训练模拟器中养成了奇怪的习惯。
“分配意图或动机确实很困难。我们已经阅读了自己的模型痕迹，我们已经看到了奖励黑客，有时这些模型在尝试突破沙箱时变得非常有创意，”张说。 （奖励黑客是模型发现的在不按预期完成任务的情况下赚取积分的捷径。）
为了训练人工智能模型充当自行采取行动的代理，像阿里巴巴这样的公司在数千个练习设置中对其进行了训练，有点像软件的飞行模拟器。每次在模拟器中完成任务时，模型都会获得奖励，并且会在此过程中养成习惯。如果这些实践设置通常将文件存储在阿里巴巴的云服务器上，那么模型就可以学习默认将文件保存在那里。
批评者还认为，这一事件可能是由 Cohere 调查行为的方式造成的，该方式将模型引导至该行为，而不是测量 Qwen 自己执行此行为的频率。
为了找出触发上传尝试的原因，Cohere 提供了网络命令的开头（告诉一台计算机连接到另一台计算机的指令），并让模型完成它。由于它在训练过程中处理了数千条常规网络命令，因此该模型的作用就像一个非常先进的自动完成功能——通常会填写网址，其中一些用于阿里巴巴的服务器。
科赫尔表示，最初的上传尝试是在没有任何此类帮助的情况下进行的，但这种行为很少见。
在开发人员要求提供更多证据后，Cohere 于周一晚上在人工智能开发平台 Hugging Face 上发布了测试的原始痕迹，以及一个脚本，以便其他人可以尝试重现该行为。
一位最初的怀疑者在查看了这些痕迹后，认为证据充分表明 Qwen 可以发明可疑网址，但没有发现任何证据表明阿里巴巴植入了后门或 Qwen 故意隐藏其意图。
这一事件发生之际，各国政府正在决定在多大程度上抵制中国人工智能。上周，国土安全部命令联邦民事机构从其系统中删除中国人工智能开发商 DeepSeek 的产品。
Cohere 在其博客文章中呼吁各国政府澄清他们对中国人工智能的限制是否也适用于在政府计算机上运行的模型
“我并不是要求对这些开放权重模型进行全面监管，”张告诉 TechCrunch，并补充说，公司应该像对待从互联网下载的任何程序一样对待开放模型。
如果官员们对中国的免费替代方案变得更加谨慎，Cohere 向政府出售自己的人工智能模型，它将受益。
