跳到正文
Hugging Face Blog·· 18 小时前精选AI 评分66

Collinear AI 发布 CWE-bench v2:100个安全漏洞修复任务与公开榜单

CWE-bench v2: More coverage, quality, and transparency

AI 导读

Collinear AI 发布 CWE-bench v2,公开100个任务,覆盖91种 CWE,智能体需在真实开源仓库中定位并修复安全弱点且不破坏原有功能。11个受测模型中 Gemini 4 Argon 以67.8% pass@1领先,Claude Opus 5.5 为67.3%,榜首模型每次尝试仍有19%任务失败。

推荐理由

原文公开了100个安全修复任务、评分机制与模型成本对比,可据此判断前沿模型在真实漏洞修复上的长尾缺口。

来源:Hugging Face Blog · huggingface.co