向量作为基本数据类型,支持向量的存储、索引、查询和计算。向量是一组有序数,通常用于
表示具有多个属性的实体,比如文本、图像、音频等。在向量数据库中,每个向量都有一个唯一的
标识符,并且可以存储在一个连续的向量空间中。
根据存储数据量以及综合性能选择 Pipecone 作为本项目的向量数据库存储数据。Pipecone 可
以存储和管理大规模的高维向量数据,并提供快速,准确的相似性搜索。不仅支持实时查询处理,
可以毫秒级别返回最相似的结果,还能支持快速添加和删除向量数据,并实现动态缩放。更重要的
是 Pinecone 提供了直观的 API 和友好的用户界面,如图 4.2 与图 4.3 所示,使得开发者可以轻松
地创建索引、存储向量数据以及执行查询操作。
Weaviate 是一个向量搜索引擎数据库,它专注于连接和管理分散的数据,并通过语义链接来
解析和查询这些数据。它的主要功能包括语义搜索、数据链接和知识图谱构建。Weaviate 的关键
特性包括机器学习集成,支持多种相似度度量,如欧氏距离和余弦相似度,以及可扩展性。
Weaviate 的主要用途是帮助开发者构建智能应用程序,利用其强大的语义搜索和数据关联功能
从而实现更智能、更个性化的数据检索和推荐。其特点包括开源、高度可扩展、语义搜索功能强
大、支持多种数据类型和格式等。这使得 Weaviate 在处理大规模复杂数据集时表现出色,特别适
用于智能问答、搜索引擎和图像识别等领域。
本章介绍了向量知识库在信息检索和数据管理中的具体优势,随后介绍了向量知识库的构建,
是提取分割文本,嵌入向量,随后构成向量知识库。给出了 embedding 的原理以及给出了使用
embedding API 将数据变成向量的代码示意,经过向量化的数据,将其存入 Pipecone,后将数据
库与 Weaviate 相连,完成语义搜索、数据链接和知识图谱构建
术是一种结合了检索和生成机制的深度学习框
架,用于增强语言模型的性能,尤其适合于构建特定领域的专业大模型。这一技术通过从大规模知
识库检索相关信息,然后将这些信息融入生成过程中,来生成更准确、更丰富的响应。本节将详细
阐述如何使用 RAG 技术基于通用大模型搭建电力生命周期评估(LCA)领域的专业大模型。
RAG 技术核心在于将传统的语言生成模型与信息检索系统结合起来。这种结合不仅使模型能够
生成语言,还能从大量的文档中检索到具体的事实和数据,从而提供更加精确和详细的生成内容。
RAG 的工作流程大致可以分为以下几步:
查询生成:根据输入,如一个问题或提示,生成一个查询。
文档检索:使用生成的查询在知识库中检索相关文档或信息。
内容融合:将检索到的信息与原始查询融合,形成新的、丰富的输入。
答案生成:基于融合后的输入,使用语言生成模型生成最终的文本输出。
先前已经构建好了针对电力 LCA 领域的专业大模型,但是缺少检验模型的手段,即缺少模型优
化环节,本项目设置通过 Chatbot 模式,通过与用户进行问答的形式,检验模型是否能调用电力行