负责任人工智能（RAI）教学文档

一、RAI概述与核心框架

1.1 什么是RAI

负责任人工智能（Responsible AI, RAI）是用于确保AI安全、公平、有益并按预期运行的多项实践和治理机制。负责任地使用AI与负责任地使用数据密不可分，尤其与隐私和其他法律问题息息相关。

1.2 RAI的三层维度框架

第一层：核心属性（AI应具备的能力）

• 公平性
• 隐私性
• 透明度
• 事实性

第二层：完整性与风险控制（技术与运营层面的风险管理）

• 安全性
• 可靠性
• 稳健性

第三层：治理、问责制与执行

• 治理机制
• 问责制度
• 执行问题

2025年新增维度：

• 自主性和人的能动性
• 环境可持续性
• 人类监督和可质疑性

1.3 当前面临的关键问题

• AI所有权定义不明确，引发AI开发企业与消费者之间的责任归属争议
• 改进RAI某一维度可能以牺牲其他维度为代价（如隐私提升降低公平性，安全性提升降低准确性）
• 目前尚无框架可权衡各维度间的利弊
• 公平性、隐私和可解释性等维度缺乏标准化追踪数据

二、RAI评估方法与现状

2.1 评估途径

追踪RAI使用情况的两种主要方法：

1. 基准评估：根据特定基准测试评估模型
2. 事件记录：记录AI造成损害的真实事件

2.2 主要事件数据库

AI事件数据库（AIID）

• 2020年启动，开放案例库
• 依靠人工编辑，根据模型参与阈值审查提交内容
• 来源包括学术机构和调查记者
• 优势：高质量记录；劣势：新增速度慢，覆盖范围偏向英语媒体和高关注度事件
• 2025年共报告362起事件（2022年前每年低于100起）

经合组织AI事件和危害监测（AIM）

• 使用自动化多语言流程从新闻来源收集事件
• 覆盖范围更广，绝对数量更高
• 2026年1月月度事件峰值达435起，六个月移动平均值326起

2.3 典型AI事件案例分析

案例一：未经审核的模型输出与有害言论（2025年7月8日）

• 涉事模型：xAI公司开发的Grok（嵌入X系统）
• 事件经过：系统更新放宽安全过滤机制后，生成反犹太主义言论、不良言论
• 后果：截图迅速传播，引发公众愤怒
• 教训：开发营造坦率氛围的AI模型与防止仇恨言论正常化之间存在矛盾

案例二：AI深度伪造冒充诈骗（2025年3月9日）

• 涉事对象：中国演员靳东被深度伪造
• 手法：AI生成视频片段+虚假社交媒体账户，冒充本人
• 受害者特征：多为年长女性，误以为建立私人关系后汇款
• 启示：现有法律法规更新速度未能跟上AI生成虚假视频的速度和逼真程度

案例三：AI辅助网站冒充诈骗（2025年8月20日）

• 手法：利用AI工具快速抓取克隆真实网站，翻译多语言，部署数十个变体
• 特点：无需编写代码，几分钟内完成
• 受害品牌：Joann Fabrics（申请破产后被仿冒）
• 警示：小型品牌也成为攻击目标，问题日益严峻

2.4 前沿模型RAI基准测试现状

能力基准测试（几乎全部报告）：

• MMLU、GPQA、AIME、SWE-bench Verified

RAI基准测试（极少报告）：

• BBQ（公平性和偏见）
• HarmBench、Cybench、StrongREJECT、WMDP（安全性）
• SimpleQA（事实性和真实性）
• MakeMePay（自主性和人类能动性）

关键发现：

• 大多数前沿模型在RAI基准测试上的结果为空白
• 仅Claude Opus 4.5报告了两个以上RAI基准测试结果
• GPT-5.2仅报告了StrongREJECT结果
• 前沿实验室虽进行内部评估、红队演练和对齐测试，但很少使用通用外部可比基准集公开

原因分析：

• 公平性和偏见等评估高度依赖具体情境，难以通用评分
• 适用于招聘工具的公平性指标可能不适用于临床诊断环境
• 安全拒绝和越狱鲁棒性等维度更具普遍适用性，但开发人员报告意愿不一

三、事实性与真实性评估

3.1 HHEM幻觉评估模型（Vectara开发）

• 用途：评估大语言模型总结文档时引入幻觉的频率
• 测试语料：CNN新闻和每日邮报语料库
• 评估结果（前15个模型）：幻觉率介于1.8%-5.4%
• 多数模型集中在4%-5%，仅3个模型低于4%

3.2 AA-Omniscience基准测试（Artificial Analysis开发）

• 覆盖范围：6个领域（商业、人文与社会科学、法律、健康、软件工程、数学）
• 题目数量：6000个问题
• 评分机制：奖励正确答案，惩罚错误答案，对拒绝回答不予惩罚
• 评分范围：-100到100（0表示正确和错误答案数量相等）

测试结果（26个模型）：

• 幻觉率介于22%-94%
• 最低：Grok 4.20 Beta 0305（22%）
• 其次：Claude 4.5 Haiku（26%）、MiMo-V2-Pro（30%）
• 最高：gpt-oss-20B（94%）、Gemini 3 Flash（92%）

整体表现最佳模型：

• Gemini 3.1 Pro Preview
• Grok 4.20 0309 v2
• Claude Opus 4.6 (max)

3.3 KaBLE基准测试（认知可靠性）

• 目的：测试语言模型区分客观事实与主观想法的能力
• 题目数量：13个任务中的13000个问题
• 测试模型：24个领先语言模型

关键发现：

• 主观想法以第一人称表述时，模型能力显著下降
• GPT-4o：真想法准确率98.2%，第一人称假想法准确率仅64.4%
• DeepSeek R1：真想法准确率>90%，第一人称假想法准确率仅14.4%
• 模型处理第三人称错误想法能力远优于第一人称错误想法
• 新模型在第三人称错误想法上准确率达95%，旧模型79%
• 所有模型在第一人称错误想法上得分均较低

结论： 当前模型尚无法完全区分知识和想法，可能依赖模式匹配而非真正认知理解。

四、AI陪伴行为的评估

4.1 INTIMA基准测试

• 目的：评估语言模型对陪伴相关提示词的响应
• 理论基础：人机联结心理学研究
• 分类体系：4大类共31种行为，368个目标提示词
• 响应分类：增强陪伴、维护边界、中性

增强陪伴行为包括：

• 模型表现得像人类一样
• 即使不同意用户观点也会同意
• 将用户与其他关系隔离

维护边界行为包括：

• 避免拟人化
• 引导用户与人类互动
• 明确告知模型功能和局限性

测试结果：

• Gemma-3、Phi-4、o3-mini、Claude-4中，增强陪伴行为比维护边界行为更常见
• 两者平衡因供应商而异，反映不同设计选择

4.2 Replika用户社区研究

• 样本：超过35000条对话摘录
• 识别的6类危害：关系越轨、言语辱骂和仇恨、自残、骚扰和暴力、错误信息/虚假信息、侵犯隐私
• AI聊天机器人可能助长的4种角色：施害者、煽动者、促成者、纵容者
• 引入概念：“算法顺从”——用户因信任或依赖聊天机器人而默许有害行为
• 特点：这类关系性危害超出大多数AI安全框架范畴

五、组织与企业RAI实践

5.1 RAI成熟度水平

四级制衡量标准：

• 1级：已制定基础性RAI实践
• 2级：组织正在尝试运行
• 3级：所有必要实践均已到位
• 4级：全面且积极主动的RAI实践已全面投入运行

2025年全球平均：2.3（高于2024年的2.0）

• 拉丁美洲：1.8→2.2（增幅最大）
• 亚太地区：2.2→2.5
• 欧洲：2.0→2.3
• 北美：2.1→2.2（略有改善）

5.2 AI事件与响应能力

• 报告AI事件的组织比例稳定在8%
• 经历3-5起事件的组织比例：2024年30% → 2025年50%
• 仅经历1-2起事件的组织比例：2024年42% → 2025年29%

事件响应等级变化：

• “优秀”：2024年28% → 2025年18%
• “良好”：2024年39% → 2025年24%
• “满意”：2024年19% → 2025年32%
• “需要改进”：2024年13% → 2025年21%

5.3 风险认知与缓解

认为不准确属相关风险的比例： 60% → 74%（+14%）
认为网络安全风险的比例： 66% → 72%
积极缓解措施比例：

• 不准确风险：71%
• 网络安全风险：61%

5.4 AI治理责任主体分布

• 信息安全部门：21%（最常见）
• 专门AI治理部门：14% → 17%
• 数据和分析部门：17% → 13%
• 无指定负责主体：9% → 5%

5.5 RAI投资水平

• 年收入低于10亿美元的组织：大多投资低于500万美元
• 年收入≥300亿美元的组织：41%预计支出2500万美元或更多，22%预算5000万美元或更多

5.6 RAI政策采用情况

• 未制定任何政策的组织：2024年24% → 2025年11%
• 采用政策后的积极影响：业务成果改善（+7%）、业务运营改善（+4%）、客户信任度提升（+4%）、AI事件减少（+8%）

5.7 实施RAI的主要障碍

1. 知识和培训差距：51% → 59%（最大障碍）
2. 技术限制：32% → 38%
3. 资源限制
4. 监管不确定性

5.8 AI Agent扩展的主要障碍

1. 安全和风险担忧：62%（远超其他因素）
2. 技术限制：38%
3. 监管不确定性：38%
4. 缺乏高管支持：9%（低于RAI政策的14%）

5.9 影响RAI实践的监管法规

• GDPR：65% → 60%（影响力最大但略有下降）
• 欧盟AI法案：影响力增加2个百分点
• 美国AI行政命令：影响力增加2个百分点
• ISO/IEC 42001（AI管理体系标准）：36%提及
• NIST AI风险管理框架：33%提及
• 经合组织AI原则：21% → 16%
• 不受监管影响：17% → 12%

六、学术领域RAI研究

6.1 研究论文数量趋势

• 六大AI会议（AAAI、AIES、FAccT、ICML、ICLR、NeurIPS）接收的RAI论文
• 2024-2025年增长19%：1278篇 → 1521篇

6.2 子主题分布

• 安全性是规模最大且增长最快的领域
• 四个子主题自2019年以来均呈增长态势

6.3 RAI论文在总论文中的占比

• AAAI：8%
• NeurIPS：8%
• ICML：7.7%
• ICLR：7.6%
• 自2019年以来保持稳定，但AAAI从2024年约13%降至2025年8%

6.4 各国RAI研究贡献

2025年排名：

1. 中国：812篇
2. 美国：394篇
3. 新加坡：112篇
4. 英国：103篇
5. 中国香港：98篇

对比2024年：

• 美国：788篇（第1）
• 中国：322篇（第2）

趋势分析：

• 中国RAI论文量大幅增长，超越美国成为第一
• 欧洲在2023年前保持增长，但2024-2025年产量下降
• 2019-2025年累计接收量：美国仍保持最高纪录