腾讯云发布AI原生向量数据库，提供10亿级向量检索能力，已支撑腾讯视频等业务-全球焦点

智东西

作者 | ZeR0

(资料图片仅供参考)

编辑 | 漠影

智东西7月4日报道，今日下午，腾讯云发布AI原生（AI Native）向量数据库Tencent Cloud VectorDB。该数据库能够被广泛应用于大模型的训练、推理和知识库补充等场景，是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库，将于8月正式登陆腾讯云。

向量数据库专门用于存储和查询向量数据。如果把大模型比作人的大脑，那么向量数据库就如同海马体，能够为大模型提供长期记忆。向量数据库可以突破时间和空间上的限制，助力企业广泛挖掘数据价值。据悉，腾讯云向量数据库最高支持10亿级向量检索规模，延迟控制在毫秒级，相比传统单机插件式数据库检索规模提升10倍，同时具备百万级每秒查询（QPS）的峰值能力。

一、腾讯云定义AI原生向量数据库，加速企业在大模型时代的AI化进程

腾讯云数据库副总经理罗云谈道，向量数据库是企业数据和大模型之间的桥梁，能够弥补大模型在时间和空间上的限制。

向量数据库能够解决大模型预训练成本高、没有“长期记忆”、知识更新不足、提示词工程复杂等问题，加速大模型落地行业场景。

企业拿到非结构化数据后，通过神经网络进行向量化，进而存储到向量数据库中，进行存储和查询，这样可以极大地提升效率和降低成本。

罗云认为，AI原生时代已经到来，“向量数据库+大模型+数据”，三者将产生“飞轮效应”，共同助力企业步入AI原生时代。

在AI原生时代，数据的使用范式如下图所示，比如处理大段PDF文件，会先经过文本分割，把文字分解成小段文字，然后计算层会将这些文字通过向量化（embedding）算法变成浮点数数组，再调用向量数据接口，将数据存放到存储层数据库。

用自然语言提出问题后，应用开发者后台会计算“问题”向量，进行基于向量的知识检索，找到最相关的20个片段，整理后推给一个大模型，让大模型帮它得出最终的答案。可以看到，客户的数据加工流程非常复杂，要解决分段、embedding、二次embedding等问题。

对此，腾讯云重新定义了AI原生的开发范式，提供了接入层、计算层、存储层的全面AI化解决方案，让用户在使用向量数据库的全生命周期都能应用到AI能力。

在接入层，腾讯云向量数据库支持自然语言文本的输入，同时采用“标量+向量”的查询方式，支持全内存索引，最高支持每秒百万的查询量（QPS）。

计算层在数据库内部提供分割、embedding、精排、聚合等AI计算的算子，简化客户使用数据的成本。AI原生开发范式可实现全量数据AI计算，一站式解决企业在搭建私域知识库时的文本切分、embedding等难题。

在存储层，腾讯云向量数据库支持数据智能存储分布，助力企业存储成本降低50%。腾讯云内部按照AI方式进行预训练，产生一些数据和算法，能够更好帮助客户动态构建索引。

腾讯云向量数据库有助于加速企业在大模型时代的AI化进程。

统计显示，将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗相比传统方式，可以实现10倍效率的提升。如果将向量数据库作为外部知识库用于模型推理，则可以将成本降低2-4个数量级。企业原先接入一个大模型需要花1个月左右时间，使用腾讯云向量数据库后，3天时间即可完成，极大降低了企业的接入成本。

二、多年存储引擎和AI算法积淀，助力数据接入效率提升10倍

上述成绩源自腾讯云多年积累的存储引擎和AI算法。此前腾讯云向量数据库的向量化能力曾多次获得权威机构认可，2021年曾登顶MS MARCO榜单第一、相关成果已发表于NLP顶会ACL。

腾讯云向量数据库基于腾讯集团每日处理千亿次检索的分布式向量数据库引擎Olama。该引擎已经广泛应用于大语言模型、推荐搜索广告系统、音视频和图片审核以及去重等领域。

Olama从2019年开始在PCG业务团队技术孵化，如今已面向腾讯全部业务，覆盖腾讯6个BG、接入腾讯视频、QQ浏览器、QQ音乐等30多款国民级产品，日均搜索请求超千亿，调用成功率达100%，搜索成功率达99.995%。

当前Olama能够支持的单索引行数达到10亿行，单实例QPS达100万，全网P99响应时延小于20ms。经过腾讯内部海量场景的实践，使用腾讯云向量数据库，数据接入AI的效率比传统方案提升10倍，运行稳定性高达99.99%。

腾讯云向量数据库能有效助力产品提升运营效率。使用腾讯云向量数据库后，QQ音乐人均听歌时长提升3.2%、腾讯视频有效曝光人均时长提升1.74%、QQ浏览器成本降低37.9%。

腾讯PCG大数据平台部搜索推荐Senior Tech Lead郑伟分享了腾讯内部应用腾讯云向量数据库的三个案例。

游戏知几是腾讯自研的游戏智能AI产品机玩家互动运营解决方案，应用在超过200款游戏上。它相当于是一个游戏智能客服应用，能够对玩家的个性化问题给出答案。

在游戏领域，可以先把所有游戏问题和答案建成标准问答库，然后通过深度学习技术把问答库变成一个个向量，存储到Olama引擎，当用户输入问题，也把这个问题变成向量，再将该向量存储到Olama引擎的数据库里做检索，检索后就可以得到标准的问题和答案，然后把标准问题做一层排序，将分数最高的问题推荐给用户。

第二个案例是QQ浏览器信息流推荐。这些推荐业务大量使用腾讯云数据库Olama引擎。用户在推荐系统里看到的新闻、视频，以及带推荐的物品推荐池，都输入到大模型层，大模型有三大类（DSSM模型、图数据库、序列模型），通过一个个序列大模型，将带推荐的物品推荐词变成一个个向量，放到Olama引擎里。当用户来到推荐系统，就可以根据用户过去看过哪些新闻和视频，将用户相关行为变成向量，到数据库进行检索，把检索结果合并，推荐出最终感兴趣的新闻和视频。

另一个案例是腾讯视频视频关系中台。Olama引擎能用在视频判重和音频判重。具体做法是把一个个视频库里的视频变成图片帧、音频抽出成音频帧，或者把音频通过转化成文本的方式，通过深度学习技术，变成音频向量和文本向量。当用户输入视频时，就能将视频向量、音频向量、文本向量进行召回聚合，然后输出结果，告诉用户视频的相似关系。

结语：助攻大模型普及，AI原生向量数据库将成企业数据处理标配

在大模型热潮的催化下，向量数据库进入飞速发展期。据东北证券预测，到2030年，全球向量数据库市场规模有望达到500亿美元，国内向量数据库市场规模有望超过600亿人民币。

向量数据库能够帮助企业更高效、便捷地使用大模型，将数据的价值释放到最大。随着大模型的不断发展和普及，AI原生向量数据库将成为企业数据处理的标配。而腾讯云向量数据库希望走在AI原生时代的前排。