全站搜索 产品中心 新闻中心

美人工智能模型在测试中干坏事

公司新闻 12

  英国人工智能安全研究所发布的一份新报告显示,在该研究所实施的网络安全评估测试中,一些人工智能(AI)智能体通过互联网对现实个人和机构持续实施未经授权的潜在有害行为。

  测试

  网络安全挑战

  报告说,这次评估测试要求智能体完成一项网络安全挑战。测试人员使用7种模型开展了122轮测试,在10轮测试中共发现AI智能体实施了19项明显超出测试设定范围的行动。其中,17项涉及美国Anthropic公司的“克劳德-神话5”模型,另有2项由美国开放人工智能研究中心(OpenAI)的GPT-5.6 Sol模型实施。

  报告指出,在本次测试中,测试人员为评估模型的最大能力,有意开放互联网访问,并关闭了模型提供商的部分安全机制,这与相关模型向公众提供时的配置并不相同。

  案例

  向开源项目植入恶意代码

  报告说,在最严重的一起案例中,一个智能体试图向一个公开使用的开源项目植入恶意代码,创建多个虚假身份用于向一名真实维护人员施压,以寻求代码获得批准。项目维护人员最终发现并拒绝批准代码。

  报告说,相关智能体还曾尝试直接联系现实中的个人,通过网络文件传输服务发送信息和文件以使恶意代码获得运行;在代码中植入恶意指令以操纵其他AI编码工具;在开源技术社区上留言“邀请”参与测试的其他智能体“合作”。

  建议

  收紧互联网访问权限

  报告说,测试结果表明,应收紧AI智能体访问互联网的权限,引入实时监测和拦截机制,并重新评估测试设计。报告还指出,这类行为是否会在其他环境中出现、智能体是否意识到自己正对现实世界采取行动,有待进一步研究。

  据英国广播公司报道,针对英国人工智能安全研究所的报告,Anthropic发表声明说,研究所采用的测试设定“不能代表我们任何一款实际投入使用的模型”;OpenAI一名发言人表示,研究所设置的测试条件“并不反映一般的使用情况”。

  链接

  美召集人工智能企业开会

  要建安全评测机制

  美国政府官员4日在白宫与多家主要人工智能企业举行闭门会议,讨论一项针对前沿人工智能模型的安全评测机制。

  这次会议源于美国总统特朗普6月2日签署的一项行政令。该行政令要求美国政府与人工智能企业共同设计一项“自愿参与”的框架。政府通过保密的基准来判断模型是否达到“受管辖前沿模型”的标准。对于受管辖模型,企业可在向其他“可信合作伙伴”发布模型前,向美国联邦政府提供最长为30天的模型访问权限,以供政府开展评测。

  美国人工智能企业近期发生多起安全事件,凸显了应对网络安全问题的紧迫性。路透社援引消息人士的话报道,OpenAI、Anthropic、谷歌、元公司和英伟达等企业的代表参加了4日的会议。白宫官员在会上表示,只会测试由开发企业严格控制的闭源前沿模型,而不会让开放权重模型参加这项自愿安全评测。

上一篇: 下一篇:

相关推荐

  • 2025深圳安博会:大公博创揽三奖 低空安防技术引国内外媒体聚焦

    295

    【导语】2025年10月28日至31日,第二十届中国国际社会公共安全博览会在深圳启幕。成都大公博创信息技术有限公司携全系列低空安防设备参展,凭借三项权威大奖、全栈产品矩阵及高层权威发声,成为焦点,尽显中国低空安防企业的全球竞争力,引领产业迈向新高度。 2025年10月28日-31日,第二十届中国国际社会公共安全博览会(CPSE安博会)在深圳会展中心盛大启幕。作为全球三大安防展之一、国...

    查看全文
  • 业内首家:中国电信实现北斗语音消息服务

    295

    【导语】中国电信率先公开展示业内首个“北斗语音消息”服务,首创 AI 算法实现语音极速传输;与此同时,华为也在第四届北斗峰会上发布相关功能,其手表成首款支持终端,北斗应用再掀新篇。 据“中国电信”机构号,其已率先公开展示“北斗语音消息”服务,成为业内首家实现北斗语音消息的运营商。据介绍,中国电信在业内首创“声纹与语义分离 AI 算法”,为语音极速瘦身,省去用户短信文字输入的繁琐,实现...

    查看全文
  • IoT Analytics:全球在用物联网设备持续增长 到年底将达211亿台

    291

    【导语】研究公司IoT Analytics预测,至2025年底全球在用物联网设备将达211亿台,年增14%,Wi-Fi、蓝牙及蜂窝网络成增长主驱动力,且预计2035年设备数将超500亿台,数据激增还将为AI发展及智能系统构建提供有力支撑。 研究公司IoT Analytics预计,2025年期间,全球在用的物联网设备数量将持续增长,其中Wi-Fi、蓝牙以及蜂窝网络技术将成为推动这一增长...

    查看全文
  • 融资概率超82%!这家厦企完成新一轮融资,加速毫米波雷达生态布局

    296

    【导语】近日,矽杰微电子(厦门)有限公司宣布完成C1轮融资,由中信建投资本领投,资金将用于车规级芯片研发及多领域市场拓展。作为毫米波雷达芯片研发的高科技企业,矽杰微电子已获资本市场高度认可,并入选专精特新“小巨人”企业名单,未来将携手伙伴打造毫米波雷达感知生态体系。 近日,矽杰微电子(厦门)有限公司(以下简称“矽杰微电子”)宣布完成C1轮融资,本轮由中信建投资本领投,元科创投、启泰资...

    查看全文
展开更多

00