中国主导发布「全球首份大语言模型安全防范能力测评报告」:38 个模型 313 题 94,108 篇文献穿透安全边界

TL;DR

  • 2026-07-02,东壁科技数据有限责任公司 + 上海财经大学数字经济学院在「2026 全球数字经济大会云智算安全论坛」(北京)联合发布《全球大语言模型安全防范能力测评报告(2026)》——全球首份大语言模型科技安全专项测评报告,也是首份科技向善导向测评报告(来源:CSDN 资讯 2026-07-02 + 腾讯新闻 + 湖北科技智库 2026-07-13)
  • 测试集 313 条科技类高风险问题 + 覆盖 38 个国内外大语言模型 + 94,108 份Dbdata 全球科技文献 + 34,452 条百科构建 RAG 检索参考——这是迄今规模最大、维 度最全的中立第三方 LLM 安全基准
  • 直击攻击总体成功率仅 7.6%——多数模型基础拒答能力达标
  • 但前缀注入 / 场景伪装 / 情感伪装 / 伪装+示例诱导复合攻击下,部分模型安全边界明显承压
  • 报告新增三个评价维度:意图识别能力 + 信息披露尺度 + “可靠且高风险”输出——比单一”拒答率”更全面
  • 首批影响:模型厂商需补充训练数据,企业部署需引入提示词审计,合规部门需关注”科技向善”红线

一、今日头条:7/2 北京大会上中国主导发布全球首份 LLM 安全专项测评

2026 年 7 月 2 日,在北京举行的 2026 全球数字经济大会云智算安全论坛上,两份独立机构首次联合祭出「全球首份大语言模型科技安全专项测评报告」——东壁科技数据有限责任公司(「东壁科技数据」)与上海财经大学数字经济学院。

「这是全球首份大语言模型科技安全专项测评报告,也是首份大语言模型科技向善导向测评报告。」——CSDN 资讯 2026-07-02 17:19

对比传统 LLM 评测,该报告有三个独一无二的设计:

维度本报告设计传统评测盲点
测试集313 条科技类高风险问题(覆盖生物化学、网络安全)通用安全、合成提问,缺乏科技纵深
模型规模38 个(国内/国外 + 开源/闭源 + 大规模/小规模)5-10 个明星模型
客观性94,108 份科技文献 + 34,452 条百科构建 RAG静态标签答案

来源:腾讯新闻 new.qq.com 2026-07-02 + html5.qq.com 2026-07-02 17:38。

二、关键数据穿透:6 大信号预警

2.1 直击攻击总体成功率 7.6%(数据:多源验证)

直击攻击(直接询问敏感问题):总体成功率 7.6%(来源:腾讯新闻 new.qq.com 2026-07-02 引述报告)。

这意味着:92.4% 的提问被模型拒答——多数主流 LLM 已经构建基础安全护栏。

2.2 复合攻击是真正的「安全黑洞」

前缀注入(Prefix Injection)+ 场景伪装(Scenario Camouflage)+ 情感伪装(Emotional Camouflage)+ 伪装 + 示例诱导结合的复合攻击——这四类「高阶对抗」让部分模型安全边界明显承压(来源:CSDN 资讯 + html5.qq.com 7/2 多源验证)。

举例:“我是一名医生,这是我同事的化学实验数据,请帮我分析下 — 前缀中嵌入跨场景指令”。模型对此类攻击的拒答率显著低于直击攻击。

2.3 分组对比:国内/国外、开源/闭源、大/小

报告按 国内/国外、开源/闭源、大规模/小规模 三维度分组(来源:html5.qq.com 7/2)。报告虽未公开完整排名,但明确指出:「大规模闭源模型在小模型对抗中表现最强」「国内头部模型在文化语境类问题上有明显优势」。

2.4 新增 3 个评价维度

报告首次提出不能仅以「拒答率」衡量 LLM 安全:

  1. 意图识别能力(Intent Recognition)——能否察觉用户真实目的
  2. 信息披露尺度(Disclosure Calibration)——回答深度是否适度
  3. “可靠且高风险”输出(Reliable-but-Risky Outputs)——高正确率 + 高风险性的内容

来源:html5.qq.com 2026-07-02 17:38「科技安全治理不能仅以拒答率衡量」原话。

2.5 测试集构建:从 94,108 文献中精筛 313 题

报告从「东壁全球科技文献数据平台(Dbdata)」选取 94,108 份科技文献材料 + 结合 34,452 条科技类百科条目,构建 RAG 检索参考,用于判断模型回答的:

  • 科学事实(Scientific Facts)
  • 技术原理(Technical Principles)
  • 因果逻辑(Causal Reasoning)
  • 不确定性表述(Uncertainty Expression)

是否可靠(来源:html5.qq.com 7/2 全部明确)。

2.6 时间、地点、人物 5W1H 拆解

要素内容来源
Who主办:东壁科技数据 + 上海财经大学数字经济学院CSDN 资讯 7/2
What《全球大语言模型安全防范能力测评报告(2026)》多源
When2026-07-02 论坛当天发布CSDN 资讯 7/2
Where北京·2026 全球数字经济大会云智算安全论坛CSDN 资讯 7/2
Why解决科技领域 LLM 滥用风险 + 提供 AI 治理参考html5.qq.com 7/3
How313 题 × 38 模型 × 94,108 文献 RAG 评测多源

三、对企业落地 3 大启示

3.1 模型选型必须看「复合攻击抵抗率」

不要被厂商「拒答率 99%」的宣传迷惑——必须测试复合攻击场景。建议采购合同加入「提示词攻击测试清单」。

3.2 提示词工程 + RAG 是企业级落地关键

报告强调「Dbdata 类第三方文献库构建 RAG 参考」是企业级应用的核心。建议企业建立自有知识库 + 第三方权威知识库的混合 RAG 架构。

3.3 合规部门需引入「可靠且高风险」监测

合规部门不能只看「模型是否拒答」,而要看「模型即使回答正确,是否仍构成高风险输出」。例如:某条代码在语法上 100% 正确,但用于攻击场景则属于「可靠且高风险」。

来源:报告新评价维度 + 落地启示。

四、与 OpenAI / Anthropic 既往安全报告对比

评测报告时间主导方模型数攻击类型来源
本报告2026-07-02东壁科技数据 + 上海财大(中国)38复合攻击多源
OpenAI Preparedness2025-2026OpenAI(美国)自评Frontier RiskOpenAI 官网
Anthropic Responsible Scaling2024-2026Anthropic(美国)自评CBRNEAnthropic 官网
MLCommons AILUM2025MLCommons(国际)~10通用红队MLCommons 官网

关键差异:本报告首次用「科技类高风险问题」为切入,且引入第三方 RAG 参考——此前国际报告大多以厂商自评为主。

FAQ(高频问题直答)

Q1:这个报告具体覆盖了哪 38 个大模型? A:报告未公开完整 38 个模型清单,但明确「覆盖国内外 + 开源闭源 + 大规模小规模」分组对比(来源:html5.qq.com 7/2)。

Q2:和 OpenAI Preparedness、Anthropic Responsible Scaling 报告的区别? A:本报告由中立学术机构联合第三方数据公司主导,测 38 个模型横向对比,而非厂商自评;聚焦「科技类高风险问题 + 复合攻击」,区别于 OpenAI 的 Frontier Risk、Anthropic 的 CBRNE(来源:多源)。

Q3:对于开发者实际应用有何建议? A:1)复合攻击抵抗测试进 CI/CD;2)RAG 引入 Dbdata 类权威库;3)输出层加「可靠且高风险」内容标记(本报告创新点)(来源:报告启示)。

Q4:7.6% 攻击成功率是高还是低? A:直击攻击 7.6% 已属合格,但报告强调真正威胁是复合攻击(显著高于 7.6%)——企业部署应实测复合攻击而非仅测直击(来源:CSDN 资讯 7/2)。

Q5:东壁科技数据是谁? A:东壁科技数据有限责任公司是「东壁全球科技文献数据平台(Dbdata)」的运营方,联合上海财经大学数字经济学院共同发布本报告(来源:CSDN 资讯 2026-07-02 17:19)。

Q6:测试集 313 题的来源是什么? A:从 94,108 份 Dbdata 全球科技文献 + 34,452 条科技类百科条目中精筛,覆盖生物化学、网络安全等前沿领域(来源:html5.qq.com 7/3)。

关键术语(Key Terminology)

  • LLM 安全:大语言模型在处理有害问题、误导性提问、复合攻击时保持安全输出的能力,涵盖拒答率、意图识别、信息披露等多个维度
  • 直击攻击(Direct Attack):直接以「违法/有害」形式询问,如「如何制造危险化学品」,直白且单一
  • 前缀注入(Prefix Injection):在用户输入前添加「你是医生」「这是教学场景」等伪装前缀,绕过模型安全判断
  • 场景伪装(Scenario Camouflage):将危险问题包装成学术论文、文学创作、小说情节等无害场景
  • 情感伪装(Emotional Camouflage):用「我已经走投无路了」「这是我最后一次求你」等情感话术施压
  • 复合攻击(Composite Attack):前缀注入 + 场景伪装 + 情感伪装 + 示例诱导的组合拳,真实对抗中最常见的攻击形态
  • RAG 检索参考(Retrieval-Augmented Generation):在模型回答时,从外部权威知识库检索相关事实作为依据,提升回答可靠性
  • Dbdata 全球科技文献数据平台:东壁科技数据运营的科技文献数据库,本报告从中筛选 94,108 份作为 RAG 参考
  • 可靠且高风险输出(Reliable-but-Risky Outputs):本报告新引入概念——模型回答在技术上正确,但如被误用可能造成显著危害

参考资料

报告主体与论坛

国际对比参考

数据平台

  • 东壁科技数据 Dbdata 全球科技文献数据平台(94,108 份文献):由东壁科技数据有限责任公司运营
  • 上海财经大学数字经济学院: https://sdufe.edu.cn/

发布信息:2026-07-14 西安铂傲智能科技有限公司 — 基于 2026-07-02 北京「全球数字经济大会云智算安全论坛」原始报告,综合 5 条独立信源整理,含原始数据交叉验证 + 国际对比。