如何实时拦截 AI 输出的有害 / 违规内容?

很多人只盯着员工输入了什么,但 AI 的输出同样有风险:

• 有害 / 违规内容:模型可能生成违法不良信息、危险操作建议、歧视或不当言论;
• 敏感数据回流:模型把检索 / 上下文里的个人信息、内部资料原样吐回,造成二次泄露;
• 违规建议:在金融、医疗、法务等场景给出不应直接采纳的结论。

这不是某条针对内部员工使用的「必做」法规,而是企业的内容安全与数据防泄漏内控。需要说明:面向社会公众提供生成式 AI 服务有专门的监管要求,但那约束的是对公众提供服务的服务提供者,与企业内部员工自用的场景并不直接对应——我们不把它错套到这里。

分两种响应形态,且都覆盖三类协议(Anthropic / OpenAI / 国产):

• 非流式整段阻断:一次性返回的响应,先整段过护栏;命中即不向员工返回正文,改返回一个拒答结果;
• 流式命中即终止:边生成边返回的响应,网关逐帧 / 逐事件扫描,一旦命中规则立即掐断上游、停止继续吐字,并把流改写为终止 / 拒答帧。

命中后,网关会封装一个拒答帧按对应协议的方言下发,使下游客户端(含 Codex 等 OpenAI 客户端)能正常解析,而不是收到半截乱码。判定护栏遵循 fail-CLOSED:护栏内部出错时倾向于拦截,而不是放行。

会保留证据,也照常计费——这是设计上的关键:

• 全量原文仍留痕:即便对员工拦掉,完整的输入 / 输出原文仍信封加密落库、进入防篡改哈希链,事后可调取、可一键验真——取证不丢;
• 计费照常:上游已经产生的 token 消耗按员工 / 部门如实计量,不因被拦而漏记成本;
• 留痕与拦截分轨:拦的是「给员工看的内容」,留的是「给审计看的证据」,两件事互不影响。

这样既挡住了有害 / 违规内容流向员工,又保住了「谁、何时、对哪个模型、模型回了什么」的完整证据链。

不是。输出侧拦截属于内容审计能力,默认关闭,需要法律确认 + 双钥显式启用(合规前置)。关闭时,响应字节与不经网关时一致,不引入任何改写。

判定逻辑要诚实说清:今天的命中判定是基于关键词 / 规则(可配违法不良信息词库、敏感模式),不是机器学习意图分类——intent-ML 仍在路线图上,我们不把它当成品卖。更细的策略(如先缓冲一小段头窗再决定是否放行、对命中片段做输出脱敏改写而非整段拒答)属于在建,会单独诚实标注。