企业知识库

企业知识库是组织内部的一个集中存储和管理信息、知识的工具，帮助企业有效地组织、存储、检索和分享各种类型的信息和知识资源，为企业特定场景 AI 应用提供了基础。通过版面识别、文件切片、向量化技术、语义检索等，可以有效地处理和利用企业内部的大量数据，不仅能够提高大模型在特定任务上的表现，还能大幅降低计算资源的消耗，提升数据处理的效率和准确性。

在企业应用中，通过挂载私有知识库来扩充大模型的知识储备（挂载是通过检索增强生成技术/RAG 实现的，借助于在大模型输入时携带相关的私有知识上下文，让大模型理解、总结、整理并回答用户问题，使得大型语言模型在实际应用中变得更加实用和可信），以提供基于自然语言的、对话式的企业私有知识访问，解决通用大模型在面向企业应用时领域知识不足导致的幻觉问题。挂载企业知识库后，将企业知识库文档和数据，通过向量特征提取(embedding)后，存储到向量数据库(vector database)，应用 LLM 大语言模型与向量化的知识库检索和比对知识，构建智能应用。您可以在我的工作台-AI 应用-应用编排时选择挂载企业知识库，便于 AI 应用基于知识库文件进行问答（详见：创建 AI 应用）。

我的工作台-企业知识库展示所有您创建的知识库和知识目录，及其关联的应用数量。点击右上角“创建企业知识库”按钮，可以创建新的企业知识库（支持两种方式：① 创建平台知识库；② 同步外部数据源；），创建成功的企业知识库，会在我的工作台-企业知识库展示。

创建企业知识库

创建平台知识库

原理简介

通过“创建平台知识库”创建企业知识库、并进行知识治理的核心原理如下：

版面识别：核心在于对文档版面的精准解析，通过先进的算法/模型，版面识别技术可以准确地识别文档中的文字、图片、表格等元素，并将解析出的元素和关键信息进行结构化存储和展示 ‌。
分段设置：即对知识库的知识进行切片，可选择自动分段或自定义分段（自由选择分片器类型，并支持按需设置规则参数）。

元数据提取：非必选项，用户可以按需选择。

上下文窗口：切片向量化时，每个切片的相邻切片的内容被封装在切片的 meta_data 中。检索和召回时，根据命中文档的 meta_data，可以获取该段落的上下文信息。
摘要：利用大模型文本摘要技术，将切片文本压缩成简洁、全面的摘要，从而提升信息的密度。
标签：给切片文本打上特征标签进行关联，基于文本精准匹配的算法，非常适合关键词检索。
自动生成问题：自动生成与文本内容相关的问题。

索引配置：

索引方式：Embedding 过程是将非结构化的数据编码为向量，将企业的知识和信息转化为计算机能够理解的向量形式，就像将一本书的内容编码成图书馆的索引卡片，使得信息可以被快速检索。
- 高质量：调用微软|Azure-GPT-3.5 的嵌入接口进行处理（需要部署微软|Azure-GPT-3.5 模型，方可使用该索引方式），以在用户查询时提供更高的准确率。
- 经济：使用离线的向量引擎/关键词索引等方式，会对准确度有一定损耗。
向量数据库：主要作用是存储和处理向量数据，并提供高效的向量检索功能。
- Milvus：涵盖如 Faiss、Annoy 和 hnswlib 等主流第三方索引库，性能高，支持对海量向量数据进行相似搜索，支持使用 Kubernetes 部署，支持在云上扩展。例如，如果需要一个易于扩展、稳定高效且支持多种索引方式的向量数据库，那么 Milvus 可能是一个更好的选择。
- Faiss：一款适用于稠密向量匹配的开源库，支持 c++与 python 调用，支持多种向量检索方式，包括内积、欧氏距离等，同时支持精确检索与模糊搜索。

操作指南（创建平台知识库）

同步外部数据源

开始：进入“我的工作台-企业知识库”，点击右上角的“创建企业知识库"按钮，进入”创建企业知识库“弹窗页面。
选择知识来源：选择已有的知识来源，或者点击“添加知识来源”绑定新的知识来源。
选择知识库&设置：选择要添加的知识库，并进行知识库设置，点击“确认”即完成了同步外部数据源，并在企业知识库列表中展示。
编辑修改：点击通过“同步外部数据源”添加的知识库，可以查看该知识库中的文件、并支持进行启用/禁用/分段修改等操作，除支持对单个文件进行同步外，也可以一键进行全库同步。