深入探究：与 Bob van Luijt 一起从矢量嵌入到矢量数据库

5

在第 4 集中 亚洲人工智能商业主持人 Leo Jiang 与 Weaviate 联合创始人兼首席执行官 Bob van Luijt 进行了交谈。Weaviate 是一家以矢量数据库技术闻名的著名 AI 初创公司。Weaviate 通过提供数据库架构，实现了高效的语义搜索和检索，在塑造生成式 AI 模型背后的基础设施方面发挥了关键作用，这对于实时 AI 应用至关重要。以下是本期节目中主要讨论内容的全面细分，重点关注技术方面。

矢量数据库的演变和 Weaviate 的成立

Bob 首先将 Weaviate 的起源追溯到他在机器学习初期对向量嵌入的早期研究。最初，对于我们今天所理解的向量数据库，并没有明确的路线图，但 Bob 看到了使用向量嵌入来增强搜索和推荐系统的潜力。

关键基石：

• 向量嵌入的早期采用：Bob 对向量嵌入的兴趣始于 2010 年左右，当时他探索了向量嵌入在改进信息检索系统方面的潜力。
• 开源基金会：Weaviate 诞生于一项开源计划，该计划仍是其核心，允许全球开发者社区广泛采用和快速迭代。

深入探究：矢量数据库及其在人工智能中的作用

矢量数据库是一种专门的数据库形式，专门针对处理高维数据（特别是机器学习模型生成的矢量嵌入）进行了优化。Bob 详细阐述了矢量数据库如何成为支持依赖复杂数据关系和语义理解的生成式 AI 应用程序的关键。

了解技术：

• 向量嵌入：这些是数据的数值表示，可在高维空间中捕捉语义含义，从而实现更准确的搜索和信息检索。
• 语义搜索：与传统的基于关键字的搜索不同，向量搜索即使没有使用精确的术语也允许检索相似的数据点，从而提供了一种更直观的信息检索方法。

早期产品开发中的挑战

Weaviate 面临的主要挑战之一是在 GPT 等大型语言模型 (LLM) 尚未出现的情况下建立产品与市场的契合度。这要求 Weaviate 在不断发展的领域进行创新，而这些领域并没有明确的用例。

技术障碍：

• 缺乏法学硕士学位：在 GPT-3 等模型出现之前，向量数据库的用例仅限于句子嵌入和结构化数据的语义搜索等简单任务。
• 替代与新市场：早期，矢量数据库被视为改进现有搜索和推荐系统的工具，但随着时间的推移，新的应用程序（如代理系统和实时反馈循环）出现了，创造了绿地机会。

混合搜索：融合传统和矢量搜索范式

讨论的一项关键技术创新是 混合搜索 模型将传统的关键词搜索与向量搜索相结合，通过融合两种方法的结果来优化检索，在纯向量搜索可能遗漏特定关键词的场景中非常有效。

技术细节：

• 向量空间搜索：表示数据语义的向量存储在高维空间中，允许根据相似性而不是精确匹配来检索数据点。
• 混合搜索：通过计算每个关键词的加权分数，将基于向量的搜索和传统的关键词搜索结合起来，得到既能捕捉语义相关性又能精确匹配关键词的结果。

用例示例：Bob 使用电子邮件客户端展示了混合搜索的强大功能，该客户端可以检索航班航站楼详细信息等信息。该系统对一般航班相关查询执行矢量搜索，同时还使用关键字搜索来匹配特定的确认码或精确术语，从而提供高度准确的结果。

检索增强生成 (RAG)：增强模型功能

RAG（检索增强生成）是生成式人工智能的一个重大进步，允许模型在查询生成时动态地检索外部信息，从而克服了预训练模型的静态性质。

RAG 的工作原理：

• 动态信息检索：当模型遇到其训练数据之外的查询时，它会从外部数据库或知识源检索补充信息。
• 矢量数据库集成：RAG 严重依赖矢量数据库来实时检索语义相似的数据，然后将其传回生成模型进行响应生成。

高级用例:

• RAG 中的混合搜索：将向量搜索与传统搜索相结合，增强了 RAG 模型检索模型本身无法提供的相关数据的能力，从而提高了客户服务和技术支持等领域的准确性。

生成反馈循环：动态 AI 系统的未来

Bob 介绍 生成反馈回路这使得人工智能系统不仅可以检索数据，还可以不断更新和改进底层数据库。这种反馈机制创建了能够实时适应的动态代理服务。

关键概念：

• 代理系统：这些系统能够自主执行任务，用新信息更新数据库或实时纠正不一致之处。
• 通过反馈回路进行数据清理：一个实际应用是使用生成反馈循环来清理或更新企业数据集，例如翻译不一致的数据格式或填写缺失的信息。

开源社区和开发者采用

Weaviate 的主要策略之一是利用其开源社区进行持续反馈和创新。Bob 强调了开发人员的贡献（从功能请求到错误报告）如何极大地影响了 Weaviate 矢量数据库的开发。

来自社区的技术贡献：

• 混合搜索优化：开发人员的反馈促成了直接在数据库内部优化混合搜索，减少了外部处理的需要。
• 多租户和磁盘卸载：这些功能是根据社区意见开发的，旨在满足大型企业部署对可扩展、经济高效的存储解决方案的需求。

全球采用和区域差异

虽然矢量数据库在全球范围内越来越受欢迎，但 Bob 指出，不同地区的采用率和与开源社区的参与度存在很大差异。

区域差异：

• 亚洲：日本和韩国等国家正在迅速采用矢量数据库技术，但与美国和欧洲相比，对开源社区的贡献较为有限。
• 中国：虽然使用量正在增加，但中国科技生态系统的封闭性使得开源项目难以获得广泛的关注。
• 非洲：带宽和基础设施有限等挑战继续阻碍人工智能的大规模应用，这与较发达地区形成鲜明对比。

展望：矢量数据库的未来

本期节目结束时，Bob 分享了他对矢量数据库未来及其在 AI 架构中日益重要的作用的看法。一个新兴趋势是将矢量数据库集成为 上下文窗口 用于大型语言模型，这将允许更加动态和可扩展的人工智能系统。

关键预测：

• 上下文窗口和向量数据库：随着 LLM 中的上下文窗口的扩展，矢量数据库将在有效管理和检索这些更大上下文所需的高维数据方面发挥关键作用。
• 速度和可扩展性：未来的发展将集中于确保矢量数据库可以处理实时 AI 应用程序（例如生成反馈循环和代理系统）的速度和延迟要求。

Bob 向其他 AI 创始人提出了最后一条建议： 现在是采取行动的时候了。 随着人工智能技术的快速发展和人工智能基础设施市场的不断扩大，他鼓励创始人在机会窗口关闭之前抓住机会。