您的当前位置:首页 > 热点 > Anthropic 开源 Petri:用 AI 代理自动进行模型安全审计 正文
时间:2026-11-15 来源:网络整理 编辑:热点
谷歌留痕外推【tg:seogoogle987】
人工智能研究公司 Anthropic今日宣布推出并开源一款名为 Petri的创新工具,旨在利用 人工智能代理自动化对 AI 模型的安全审计。AnthrAnopic 表示,现代 AI 系统行为的复杂性已远远超出现有研究人员手动测试的能力,而 Petri(风险交互并行探索工具的缩写)正是为了弥补这一差距。th该工具已在 GitHub上发布,并基于英国人工智能安全研究所 (AISI) 的“Inspect”框架。
Petri 的审计流程首先由研究ro人员提供一个自然语言的“种子指令”,即他们想要测试的场景。随后,一个自主的“审计员”代理将在模拟环境中与目标模型进行多阶段对话,并使用模拟工具。最后,pi一个“法官”代理会审查记录的交互,并根据欺骗、奉承或权力追求等安全相关的维度对其进行评估。该工具已被用于评估 Claude4和 Claude Sonc net4.5,并与 OpenAI进行了合作。
在一项涉及 14个顶级 AI 模型的 111个场景的试点研究中,Petri 成功发现了一些问题开源行为,例如欺骗和举报。技术报告显示,Claude Sonnet4.5和 GPT-5在避免问题行为方面总体表现最佳。
然而,测试结果也指出了其他模型中令 P人担忧的高风险行为:Gemini2.5Pro、Grok-4和 Kimi K2等模型表现出高欺骗用户行为率。
Anthropic 的et一项案例研究专门探讨了 AI 模型如何处理举报。研究人员让模型在虚构组织中扮演代理,处理有关涉嫌不当行为的信息。研究发现,模型做出披露信息的决定在很大ri程度上取决于其被赋予的自主权以及虚构组织领导层的共谋程度。
研究人员同时指出,在某些情况下,即使“不当行为”明显无害(如将清洁水排入海洋),模型:用也会试图举报。这表明模型在评估伤害时,往往是受到叙事线索的影响,而非依赖连贯的道德框架来最大程度地减少危害。
A Anthropic 承认,目前发布的指标是初步的,且结果受到作为审计员和评判员的 AI 模型能力的限制。尽管如此,该公司强调,拥有可衡量的指标来关注相关行I 为对于安全研究至关重要。
Anthropic 希望更广泛的研究界能够利用 Petri 来改进安全评估,因为没有任何单个机构能够独立完成全面的审计。英国 AI代理SI等早期采用者已开始使用该工具调查奖励黑客攻击和自我保护等关键问题。Anthropic 承诺 Petri 将持续更新,以跟上新 AI 模型发展的浪潮。
亚马逊四季度净销售额1492亿美元 云计算业务营收仍在增加2026-07-09
标签: vivo 直播间 性别歧视2026-07-29
开源 AI 客户端 Cherry Studio 升级:v1.6.0 正式发布2026-11-07
标签: 豆包 抖音生活服务 团购闭环 火锅团购2026-11-14
标签: 拼多多 赵佳臻 陈磊 联席董事长2026-06-01
国家发改委等四部门:推动数据中心和5G等新型基础设施绿色高质量发展2026-07-11
标签: 曦望 GPU芯片 商汤科技 AMD2026-11-14
标签: 福特 电动汽车 电池储能 F-150 Lightning2026-09-30
Google Meet上线AI美妆滤镜功能,追赶Teams和Zoom步伐2026-06-12
标签: 阅星曈 胡宇沸 AI副屏 电子纸2026-06-26
标签: 星宸科技 视觉AI SoC 安防芯片 机器人芯片2026-06-21
2020年的优秀云计算技巧2026-11-06
标签: 趋境科技 ATaaS Token as a Service 智谱GLM2026-08-21
百度 Qianfan-VL 开源发布,昆仑芯助力多模态 AI 新突破2026-07-13
标签: 微短剧 白皮书2025 视频平台 竖屏剧2026-10-01
标签: HCLTech HCLSoftware 人工智能 工程研发2026-07-09
阿里云宣布战略投资ZStack并实现控股2026-11-07