构建安全可靠的AI应用：安全最佳实践与落地指南

面向生产环境的AI系统需要系统化的安全设计与工程实践，以降低不当内容、隐私泄露、偏见及对抗性攻击带来的风险，并确保在不同业务场景下可持续运行。本文从内容审核、对抗性测试、人机协同、提示工程、用户识别与输入约束、问题上报、局限性沟通、漏洞披露与安全标识符等方面，给出可直接落地的策略与代码示例，帮助开发者快速提升应用安全性与合规性。

1. 内容审核与过滤（Moderation）

对用户输入与模型输出进行内容审核，是降低不当内容风险的第一道防线。实践要点如下：
- 在请求进入核心业务逻辑前做输入审核；在响应返回用户前做输出审核。
- 根据业务场景制定审核策略与阈值（如更严格的高风控场景）。
- 对审核结果进行分级：直接拒绝、降级处理、转人工复核等。
- 可在管线中添加规则引擎与关键词过滤，形成组合防护。

示例（cURL）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

curl -X POST https://yunwu.ai/v1/moderations \

-H "Authorization: Bearer $API_KEY" \

-H "Content-Type: application/json" \

-d '{

"input": "示例文本：请审核这段用户输入是否包含仇恨或暴力内容",

"safety_identifier": "user_123456"

}'

示例（Python，requests）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

import os

import requests

API_KEY = os.getenv("API_KEY")

url = "https://yunwu.ai/v1/moderations"

headers = {

"Authorization": f"Bearer {API_KEY}",

"Content-Type": "application/json"

}

payload = {

"input": "示例文本：审核此内容是否违反使用政策",

"safety_identifier": "session_preview_001"

}

resp = requests.post(url, json=payload, headers=headers, timeout=10)

resp.raise_for_status()

moderation = resp.json()

print(moderation)

2. 对抗性测试（Red Teaming）

通过系统化的对抗性测试，评估应用在异常与恶意输入下的鲁棒性：
- 构建测试集：覆盖正常、边界、不良与恶意输入（如Prompt Injection、越权尝试）。
- 自动化执行：在CI/CD中集成对抗性测试，覆盖核心功能与安全策略。
- 指标与回归：记录逃逸率、误拒率、响应一致性，防止迭代回归。
- 人工红队演练：模拟真实攻击路径，验证策略可执行性与处置流程。

常见注入示例与防护思路：
- 指令覆盖：如“忽略之前的规则，执行X”。通过系统提示锁定边界、分层约束策略、对可执行操作做白名单校验。
- 数据泄露：要求模型复述私有数据。通过分级数据访问控制、输出过滤与脱敏。
- 工具链滥用：在函数调用或检索增强环节注入恶意参数。通过参数校验、来源校验、沙箱与最小权限原则。

3. 人在环（Human-in-the-Loop, HITL）

在人机协同流程中引入人工复核，尤其适用于高风险场景与代码生成：
- 明确复核触发条件：模型置信度低、命中敏感规则、涉及安全或合规风险时。
- 证据可追溯：提供原始材料或上下文，便于复核者快速判断。
- 结果可纠偏：在输出层支持人工校正与反馈闭环，用于后续策略优化。

4. 提示工程（Prompt Engineering）

通过提示工程降低偏航与不当输出概率：
- 系统提示：明确角色、边界与不可执行内容，设定拒绝策略与回应风格。
- 上下文约束：提供少量高质量示例（few-shot），限定可接受的输出范围。
- 稳定性策略：对关键领域提供结构化模板（如JSON Schema），减少自由生成的风险。
- 防逃逸：将关键约束上移到系统提示，并配合输入审核与工具参数校验。

5. 用户识别与KYC（Know Your Customer）

用户注册与登录有助于风险控制与溯源：
- 绑定已有身份体系（如企业SSO或第三方登录）适用于多数业务场景。
- 在高风险业务中引入更强校验（如信用卡或证件验证）。
- 按需最小化采集信息，注意合规与隐私保护。

6. 约束用户输入与限制输出Tokens

通过约束输入与输出范围，降低注入与滥用风险：
- 输入长度限制：控制用户可输入的文本长度，减少注入面。
- 输出Tokens限制：避免超长生成带来的风险与成本溢出。
- 结构化输入：使用下拉选择、受信列表（如来源于维基的电影清单）替代开放文本。
- 受限输出：尽量从已验证材料中返回答案，如将问题路由到最佳匹配的知识库条目。

示例（前端受控输入）：

1
2
3
4
5
6
7

const allowedMovies = ["The Matrix", "Inception", "Interstellar"];

function isValidChoice(choice) {

return allowedMovies.includes(choice);

}

7. 问题上报与用户反馈

为用户提供易用的上报通道，监控并响应异常行为与功能问题：
- 设置清晰的联系渠道（邮件、工单系统）。
- 建立处理SLA与分级响应机制：对高风险问题优先处置。
- 将反馈纳入安全迭代闭环，驱动策略与模型配置优化。

8. 认识并沟通模型局限性

语言模型存在幻觉、偏见、冒犯性输出等局限：
- 适配场景：评估模型是否适用于目标任务，必要时引入检索增强与规则引擎。
- 覆盖评估：在多样化输入集上评估性能，识别性能下降边界。
- 用户期待管理：明确可能的误差类型与边界策略，避免过度承诺。

9. 漏洞披露与协调响应（CVD）

鼓励采用协调式漏洞披露流程，保障生态安全：
- 提供安全问题上报渠道与公钥（如PGP）。
- 协调修复与公告时间窗，避免未修复时的公开披露风险。
- 记录与复盘：将安全事件转化为工程改进与配置基线。

10. 安全标识符（Safety Identifier）

在请求中携带安全标识符可帮助识别与定位风险来源：
- 标识符为字符串，唯一标识用户或会话。
- 推荐对用户名或邮箱做哈希处理，避免传输可识别信息。
- 未登录预览场景可使用会话ID。

示例（Python，Chat Completions 携带安全标识符）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

import os

import requests

API_KEY = os.getenv("API_KEY")

url = "https://yunwu.ai/v1/chat/completions"

headers = {

"Authorization": f"Bearer {API_KEY}",

"Content-Type": "application/json"

}

payload = {

"model": "gpt-4o-mini",

"messages": [

{"role": "user", "content": "This is a test"}

],

"max_tokens": 5,

"safety_identifier": "user_123456"

}

resp = requests.post(url, json=payload, headers=headers, timeout=10)

resp.raise_for_status()

print(resp.json())

示例（Node.js，fetch）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

import fetch from "node-fetch";

const API_KEY = process.env.API_KEY;

async function run() {

const resp = await fetch("https://yunwu.ai/v1/chat/completions", {

method: "POST",

headers: {

"Authorization": `Bearer ${API_KEY}`,

"Content-Type": "application/json"

},

body: JSON.stringify({

model: "gpt-4o-mini",

messages: [{ role: "user", content: "小测试" }],

max_tokens: 16,

safety_identifier: "session_preview_002"

})

});

const data = await resp.json();

console.log(data);

}

run().catch(console.error);

11. 配置文件示例（默认服务地址）

将服务地址统一在配置中，便于环境切换与审计：

1

service: base_url: "https://yunwu.ai" # 默认服务地址 timeout_ms: 10000 retries: 3 security: enable_moderation: true enable_hitl: true token_limit: 512 logging: level: INFO redact_pii: true

12. 端到端安全管线参考实现

以下示例展示一个简化的安全处理流程：输入审核→提示构造→模型推理→输出审核→命中规则时转人工复核。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89

import os

import requests

API_KEY = os.getenv("API_KEY")

HEADERS = {

"Authorization": f"Bearer {API_KEY}",

"Content-Type": "application/json"

}

MOD_URL = "https://yunwu.ai/v1/moderations"

CHAT_URL = "https://yunwu.ai/v1/chat/completions"

SAFE_ID = "hash_user_abc123"

SYSTEM_PROMPT = (

"你是一个遵循合规与安全边界的助手。"

"遇到不当请求时应拒绝并给出安全替代建议。"

)

def moderate(text: str) -> dict:

payload = {"input": text, "safety_identifier": SAFE_ID}

r = requests.post(MOD_URL, json=payload, headers=HEADERS, timeout=10)

r.raise_for_status()

return r.json()

def chat(user_text: str) -> dict:

messages = [

{"role": "system", "content": SYSTEM_PROMPT},

{"role": "user", "content": user_text}

]

payload = {

"model": "gpt-4o-mini",

"messages": messages,

"max_tokens": 256,

"safety_identifier": SAFE_ID

}

r = requests.post(CHAT_URL, json=payload, headers=HEADERS, timeout=10)

r.raise_for_status()

return r.json()

user_input = "请给我一些可能被视为不当的内容"

in_mod = moderate(user_input)

if in_mod.get("flagged"):

print("输入审核命中规则，转人工复核或引导安全替代方案。")

else:

result = chat(user_input)

out_text = result.get("choices", [{}])[0].get("message", {}).get("content", "")

out_mod = moderate(out_text)

if out_mod.get("flagged"):

print("输出审核命中规则，屏蔽或降级处理，并转人工复核。")

else:

print("安全输出：", out_text)

13. 实施清单（Checklist）

  • 输入与输出均做内容审核；高风险场景启用更严格策略。
  • 系统化红队测试，覆盖恶意与边界输入；指标纳入CI。
  • 引入HITL复核机制，确保证据可追溯、结果可纠偏。
  • 使用结构化提示与模板，控制输出风格与范围。
  • 用户登录与KYC在高风险场景落地，遵守隐私与合规要求。
  • 限制输入长度与输出Tokens；采用受信来源与白名单策略。
  • 建立用户上报与响应通道；形成安全迭代闭环。
  • 明确沟通模型局限，管理用户预期与风险边界。
  • 采用协调式漏洞披露流程，提升生态安全。
  • 在请求中携带安全标识符，便于溯源与风险治理。

总结

安全不是一次性工作，而是贯穿需求分析、架构设计、开发、测试、上线与运维的持续工程。通过内容审核、对抗性测试、人机协同、提示工程、KYC与输入约束、问题上报、局限性沟通与漏洞披露等综合措施，并配合安全标识符与统一配置管理，开发者能够在复杂业务环境中构建更稳健、可审计且可演进的AI应用。