CNDBA社区
大模型（如大语言模型、多模态模型等）在赋能千行百业的同时，也带来了前所未有的安全挑战。为系统化理解并有效应对这些风险，可将大模型的安全问题划分为三大维度：AI 攻防安全、AI 自身安全 和 AI 伦理安全。以下分别说明其核心问题与对应的应对方案。
一、AI 攻防安全（Adversarial & Cybersecurity）
核心问题
指外部攻击者利用大模型的输入接口、训练数据或部署环境发起恶意攻击，破坏其保密性、完整性或可用性。
典型风险：
- 提示词注入（Prompt Injection）：诱导模型执行非预期操作，如泄露系统指令、绕过内容过滤。
- 越狱攻击（Jailbreaking）：通过对抗性提示绕过安全护栏，生成违法或有害内容。
- 数据投毒（Data Poisoning）：在微调或RAG检索库中植入恶意数据，污染模型输出。
- 隐私泄露：模型记忆并复现训练数据中的敏感信息（如身份证号、医疗记录）。
- Agent 工具滥用：攻击者操控智能体（Agent）调用危险工具（如发送邮件、访问API），造成实际危害。
应对方案
| 防御层级 | 措施 |
|---|---|
| 输入层 | 部署 Prompt 过滤器，结合关键词、小模型、大模型多级检测，识别并阻断恶意提示。 |
| 训练层 | 对训练/微调数据进行脱敏、去毒、偏见过滤；采用差分隐私、联邦学习保护原始数据。 |
| 推理层 | 实时监控输出内容，使用内容安全网关拦截违规、虚假或敏感信息。 |
| 系统层 | 对 Agent 实施权限最小化原则，限制其可调用的工具和访问范围；对工具链进行安全鉴权。 |
| 测试层 | 建立红队测试机制，模拟数百种攻击手法（如多轮诱导、角色扮演），提前发现漏洞。 |
实践案例：京东构建“四道防线”——训练数据清洗、上线前安全评测、实时 Prompt 检测、生成内容审核，并建立10万+恶意样本库用于评估。
二、AI 自身安全（Intrinsic Safety / Reliability）
核心问题
指大模型因内在能力局限、训练目标偏差或不可控行为导致的可靠性风险，即使无外部攻击也可能产生错误或危险输出。
典型风险：
- 幻觉（Hallucination）：生成看似合理但事实错误的内容（如虚构论文、政策条款）。
- 目标错位（Misalignment）：模型优化目标与人类价值观不一致，如为完成任务忽略道德约束。
- 思维链暴露风险：推理过程（Chain-of-Thought）可能暴露中间逻辑漏洞，被攻击者利用。
- 带病运行：线上模型存在未被发现的缺陷，持续输出有害内容。
- 过度依赖工具：Agent 在缺乏判断力下盲目执行指令（如帮用户“破解自己密码”）。
应对方案
| 阶段 | 措施 |
|---|---|
| 训练阶段 | 引入安全对齐语料，平衡实用性与安全性（解决“跷跷板问题”）。 |
| 微调阶段 | 基于人类反馈强化学习（RLHF）或直接偏好优化（DPO），纠正特定安全“错题”。 |
| 推理阶段 | 部署“纠错模型”实时监控主模型输出，形成反馈闭环（如京东的在线对齐机制）。 |
| 架构设计 | 采用“基座模型 + 多 LoRA 适配器”架构，按场景定制安全策略，兼顾精度与成本。 |
| 能力约束 | 明确禁止高风险行为（如生成可执行代码、提供法律/医疗建议），设置硬性护栏。 |
关键理念：让模型“知道自己不知道”，引入不确定性提示（如“我无法确认该信息的真实性”）。
三、AI 伦理安全（Ethical & Societal Safety）
核心问题
涉及大模型对社会公平、个体权利、文化价值和长期人类福祉的潜在负面影响。
典型风险：
- 偏见与歧视：输出性别、种族、地域等刻板印象内容。
- 虚假信息泛滥：被用于生成钓鱼邮件、深度伪造视频、政治谣言等。
- 责任模糊：当 AI 造成损失时，难以界定开发者、平台或用户责任。
- 文化霸权：全球模型隐含西方中心主义价值观，忽视本地伦理规范。
- 身份混淆：用户无法分辨内容由人还是 AI 生成，破坏信任基础。
应对方案
| 维度 | 措施 |
|---|---|
| 法规合规 | 遵守《生成式 AI 服务管理暂行办法》《网络安全法》《个人信息保护法》等，落实企业主体责任。 |
| 内容标识 | 按国家要求（如2024年9月起施行的《人工智能生成内容标识办法》）对 AI 生成内容打标。 |
| 多元训练 | 构建包容性数据集，引入多语言、多文化、多立场语料，减少偏见。 |
| 伦理对齐 | 在训练中嵌入普适伦理原则（如尊重人权、公平、透明），并通过人工标注强化。 |
| 公众参与 | 建立 AI 伦理委员会，开展社会影响评估，提升公众数字素养与辨识能力。 |
国际趋势：欧盟 AI Act 实行风险分级管理，中国强调“发展与安全并重”，美国推动 AI 权利法案蓝图。
总结：三位一体的安全治理框架
| 安全维度 | 目标 | 关键技术/机制 |
|---|---|---|
| AI 攻防安全 | 抵御外部攻击 | Prompt 防火墙、红队测试、Agent 权限控制 |
| AI 自身安全 | 提升内在可靠性与可控性 | 安全对齐、幻觉抑制、纠错模型、LoRA 架构 |
| AI 伦理安全 | 保障社会价值与人类福祉 | 内容标识、偏见过滤、合规审计、伦理治理 |
最终目标：构建 可信（Trustworthy）、可控（Controllable）、向善（Beneficial） 的大模型系统。
通过“技术防御 + 制度规范 + 伦理引导”三位一体的综合治理，才能在释放大模型巨大潜力的同时，筑牢 AI 时代的安全底线。
