AI重写负载后数据库必须同时处理动态查询与实时推理

AI开始重写负载后,数据库查询模式从固定转向模型动态生成,传统优化器与存储引擎的静态假设直接失效。这要求架构同时处理结构化数据与实时推理,而非简单扩容。

动态生成的查询让规则优化器命中率崩盘

传统数据库的查询优化器依赖预定义规则和统计信息来选择执行计划。这些规则假设查询模式相对稳定,数据分布可预测。当AI开始生成负载时,查询不再来自固定模板,而是由大型语言模型根据自然语言或业务意图实时构造。

信号明确指出,这种动态生成直接导致规则优化器的命中率急剧下降。因为优化器无法提前为每一种可能的AI生成查询建立代价模型,统计信息在查询到达前几毫秒就已过时。结果是执行计划频繁选择次优路径,CPU消耗和延迟都显著上升。

更严重的是,AI生成的查询往往包含复杂的嵌套、模糊条件或跨多个表的关联,这些模式在传统优化器的训练数据中极少出现。数据库不得不频繁回退到全表扫描或低效的嵌套循环连接。实际运行中,原本毫秒级的查询可能延长到秒级,甚至触发超时。

这一失效机制不是简单性能问题,而是架构层面的不匹配。传统优化器是基于“人写SQL”的假设设计的,而AI写查询的速度和多样性远超人类手动编码的范围。信号标题直接点出“当AI开始重写负载”,核心现象就是查询模式的不可预测性让静态规则体系彻底失灵。

要解决这个问题,下一代数据库需要引入学习型优化器,能够在运行时持续从实际执行反馈中调整策略,而不是依赖固定规则。这也为后续存储和执行层的重构埋下伏笔。(约380字)

存储引擎必须同时承载向量嵌入与模型参数

传统存储引擎主要处理结构化行或列数据,索引也是B树或LSM树这类针对标量值的设计。当AI负载到来,数据类型发生根本变化:向量嵌入成为主流,模型参数也需要持久化存储。

向量嵌入是高维浮点数组,用于表示文本、图像或用户行为的语义。传统B树无法高效支持余弦相似度或欧氏距离查询,必须引入专门的向量索引如HNSW或IVF。信号暗示存储层需要同时支持这些新类型,否则查询性能会直接崩盘。

更进一步,现代AI应用中模型参数本身也需要被数据库管理。参数量从几亿到上万亿不等,它们不再是外部文件,而是需要事务保护、版本控制和快速加载的“数据”。存储引擎必须提供既支持ACID又能高效读写大二进制对象的能力,这与传统Blob处理方式完全不同。

区分于查询优化环节,这里的核心是物理存储格式的重构。行存适合事务,列存适合分析,而向量和模型参数需要混合格式:一部分是稠密向量块,一部分是分片参数张量。数据库需要新的压缩算法和缓存策略,以减少内存占用并加速向量检索。

中国企业面临的现实是,大量已有系统基于MySQL、PostgreSQL或TiDB构建。直接替换存储引擎代价极高,因此许多团队先在现有数据库之上增加向量插件,但信号显示这种权宜之计无法长期满足AI重写负载后的全部需求。存储层必须从根本上重新思考数据表示方式,才能同时承载结构化记录、向量嵌入和模型权重。(约410字)

实时推理需求迫使数据库内核集成模型执行

过去数据库只负责存储和查询,推理完全由外部应用或单独的模型服务完成。现在AI负载要求数据库在查询执行过程中直接运行模型,这意味着内核必须集成推理引擎。

信号强调,实时推理不再是附加功能,而是核心执行路径的一部分。例如,用户输入自然语言查询后,数据库需要先用小型模型将其转为结构化SQL,再用另一个模型对检索结果进行总结,最后把结果返回。这整个链路必须在数据库内完成,否则网络往返和数据拷贝会带来无法接受的延迟。

内核集成带来架构上的重大改变。传统执行器是基于算子(Operator)的管道式设计,现在需要插入模型执行算子。这些算子要能调用GPU或专用NPU,同时保证事务隔离和资源调度不冲突。这要求数据库重新设计内存管理、线程模型和容错机制。

与前两节不同,本节聚焦执行层面的主动性转变。数据库从“被动响应查询”变为“主动进行多步推理”。这也意味着查询计划不再是单纯的表扫描和连接,而是包含模型调用、嵌入生成、相似度计算等混合步骤。

实际落地中,集成方式有两种:一种是将轻量推理引擎嵌入数据库进程,另一种是通过外部函数调用更重的模型。信号显示,前者延迟更低但对内核侵入性更强,后者兼容性更好但性能有损失。中国企业需要根据自身算力条件选择路径。(约370字)

AI-native 数据库通过模型与数据共置重构负载

AI-native数据库的核心理念是将模型和数据放在同一系统中运行,避免频繁的数据搬运。信号提到的新兴方案正是通过这种共置来重构整个负载特征。

典型实现中,数据库不再区分“数据文件”和“模型文件”,而是将模型参数作为一种特殊表或物化视图存储。查询优化器在生成计划时会直接考虑模型的计算代价,并决定是否将部分计算下推到存储层。这种共置让向量检索和模型推理可以共享同一块高速缓存,大幅降低延迟。

实际案例方面,虽然信号未给出具体公司名称,但技术路径已清晰:部分新数据库采用统一执行引擎,同时支持SQL算子和张量算子。数据以列式+向量混合格式存放,模型以分片方式分布在多个节点上。查询到达后,系统先用嵌入模型将文本转为向量,再在向量索引中检索,最后用生成模型产出最终结果,整个过程无需离开数据库进程。

这种重构直接应对了AI动态负载的问题。因为模型本身参与查询生成和优化,系统可以根据实时反馈持续调整存储布局和索引选择,形成闭环。相比传统数据库,AI-native方案在处理自然语言查询和多模态数据时表现出明显优势。

不过完全转向AI-native意味着替换现有系统,这对大多数企业来说门槛较高。因此下一节将讨论更现实的混合路线。(约350字)

混合架构为中国企业提供低风险迁移路线

对中国企业而言,完全采用AI-native数据库风险过高。信号建议的混合架构成为更可行的路径:保留现有OLTP/OLAP数据库,同时引入专门的AI层,通过联邦查询或缓存同步机制打通两侧。

具体策略包括:在现有PostgreSQL或TiDB上安装向量扩展,同时部署轻量推理服务。关键查询路径由AI层接管,结构化事务仍由原数据库负责。数据通过CDC(变更数据捕获)实时同步到向量存储中,实现最终一致性。

这种混合方式允许企业分阶段迁移。先在非核心业务中验证AI查询效果,逐步将模型参数和向量数据迁移到新存储引擎。国内多家互联网和金融企业已在试点类似架构,利用本地算力资源降低对外部大模型的依赖。

与纯AI-native路径不同,混合架构强调兼容性和渐进式演进。企业可以继续使用熟悉的SQL接口,同时逐步引入自然语言查询能力。信号显示,这种路线在成本控制和团队技能过渡上更有优势,尤其适合中大型传统行业用户。

落地时需要重点解决数据一致性、查询路由和监控问题。许多团队选择自研中间层来统一管理SQL和AI查询的路由规则,这成为当前中国企业在数据库转型中的主流实践。(约340字)

兼容性、成本与一致性仍是未决变量

尽管技术路径逐渐清晰,但几个关键问题仍未解决。信号隐含指出,兼容性是最大障碍。现有应用大量依赖特定数据库的SQL方言和扩展功能,新架构很难100%兼容,导致迁移成本居高不下。

成本方面,集成模型推理显著增加GPU和内存开销。传统数据库主要消耗CPU和磁盘,而AI负载让显存成为新的瓶颈。中小企业难以负担持续的硬件投入,信号显示目前还没有成熟的成本优化方案能将推理开销压到可普遍接受的水平。

一致性也是重大风险。模型推理本质上具有不确定性,而数据库事务要求严格的ACID保证。当查询结果部分来自模型输出时,如何定义“一致性”成为难题。不同模型版本可能产生不同结果,传统事务机制难以覆盖这种语义层面的不一致。

此外,安全性、隐私保护和可解释性也尚未有标准答案。AI生成的查询可能无意中绕过访问控制策略,模型参数中可能包含敏感训练数据。这些问题在信号描述的转型中仍处于开放状态,需要进一步研究和工程实践。

总体来看,AI重写负载迫使数据库行业进入新一轮架构革新。中国企业既面临挑战,也拥有本地数据和应用场景的优势。通过混合架构逐步推进,同时持续跟踪AI-native技术的成熟度,是当前最务实的策略。(约380字)

参考来源