LLM 请求返回 HTTP 200 并不意味着成功,因为它可能在策略层被拒绝或在 sanitization 过程中被修改。 信号强调,一旦请求通过 policy、sanitization、routing 和 audit 层,单纯的 HTTP 监控就无法捕捉这些失败。 策略层拦截不会改变 HTTP 返回码 在现代 LLM 网关架构中,策略层(policy layer)承担了内容安……

阅读全文