创建知识库-j9九游会登录
agentarts提供的知识库功能对文本文档、faq等数据进行向量化存储、知识检索,支持为应用、工作流提供检索增强能力。
本文将详细介绍如何创建知识库,包含模型配置、解析配置和拆分配置等。
| 序号 | 流程环节 | 说明 | |
|---|---|---|---|
| 1 | agentarts提供的知识库功能对文本文档、faq等数据进行向量化存储、知识检索,支持为应用、工作流提供检索增强能力。 | ||
| 2 | 将知识信息更新至知识库。 说明: agentarts支持通过多种方式将知识信息更新至知识库,用户可根据需求选择合适的方式。 | 在创建知识库时,您可以选择上传本地的知识文档到知识库。 | |
| 在创建知识库时,支持通过对象存储服务(object storage service, obs)接入知识文档。 | |||
| 知识库支持通过上传faq文档来批量导入faq问答对,也支持在线创建。 | |||
| 3 | agentarts通过对创建的知识库进行命中率测试,可以评估知识库的效果和准确性。 | ||
前提条件
约束与限制
套餐包可以创建平台知识库数量,详细信息请参考知识库使用限制。
创建知识库
- 登录。
- 在左侧导航栏中选择“开发中心 > 组件库”,选择“知识库”页签。
- 在“知识库”页面,单击“创建知识库 > 创建平台知识库”。
- 创建平台知识库:适用于数据在agentarts平台直接管理的场景,支持上传文档和faq。
- 接入第三方知识库:适用于企业已有现成知识库(如ragflow),希望直接对接复用的场景。具体操作请参考。
- 在“创建知识库”的“基本信息”页面中,参见表2配置知识库信息。 图2 创建知识库(以agentarts基础版为例)
表2 参数说明 参数
说明
示例
基本信息
名称
用于标识知识库。
由1~50个字符组成,包含中文、字母、数字、中划线、下划线,且必须以中文、字母、数字开头。
agentarts平台知识库
描述(可选)
用于对知识库内容和用途的简要说明。它提供了关于知识库的详细信息,帮助用户了解知识库的内容和使用场景。
由0~100个字符组成。
agentarts平台知识库
知识库图标
系统默认知识库图标,可单击
自动生成图标,也可以自定义图标。- 鼠标移动至图标上,单击鼠标左键。
- 上传已准备好的知识库图标。
支持jpg、jpeg、png、gif格式图片,且不大于200kb。
默认
解析配置
向量模型
创建后,不支持修改。
向量模型是一种将文本、图像等非结构化数据转换为数值向量的模型。例如,在文本处理阶段,用于对文本文档切片后的片段进行向量化表示;在知识检索阶段,根据用户输入的信息对切片进行召回。
向量模型用于在海量的知识库中,快速识别和用户输入信息语义相近的词或句子,进行信息的初步筛选,解决“大海捞针”的效率问题。
agentarts基础版预置向量模型:pangu_embedding。
pangu_embedding
精排模型
精排模型是一种用于对检索结果进行精细排序的模型。针对用户输入的信息,对向量模型召回的切片进行从高到低的相关度排序,把相关度最高的前几个信息(例如top 10)呈现给用户。
精排模型用于进一步提升系统搜索的相关性准确度。
agentarts基础版预置精排模型:pangu_rerank。
说明:agentarts基础版用户在创建知识库后,无法修改精排模型的配置。
pangu_rerank
文档解析(可选)
ocr增强
- 不开启,不可调用ocr服务进行智能文档识别。
- 开启后,即可调用ocr服务进行智能文档识别,如表格解析或扫描文件等。
目录页解析
页眉页脚解析
- 未开启,解析结果中不包含页眉页脚。
- 开启后,解析结果中包含页眉页脚。
目录页解析
- 未开启,解析结果中不包含目录页。
- 开启后,解析结果中包含目录页。
图片解析
- 未开启,则在文档中遇到图片默认跳过,不处理图片。
- 开启后,根据需要选择“提取图片文本”或者“仅保留原图”。
- 提取图片文本:识别图片内文字。
- 仅保留原图:仅提取图片保存,不会识别图片内容,便于问答图文展示。
分段策略(可选)
系统默认自动分段。支持如下分段策略,分段介绍及分段策略配置请参考知识库分段。
- 自动分段:按照系统默认预设的规则和分隔符切分。适用于格式规范的通用文档。
- 长度分段:基于内容的长度来决定如何进行分段。适用于对分段长度有严格要求的场景。
- 层级分段:根据内容的结构层次来进行分段。适用于带有明确标题层级的结构化文档(如说明书、书籍)。
自动分段
- 配置完成后,单击“创建并上传”或“立即创建”。
- 创建并上传:进入“创建知识库”的“上传文档”页面,为知识库添加文档信息,具体操作请参考上传文档。
- 立即创建:页面返回知识库列表。
创建完成后,可以在“知识库”页签中查看创建完成的知识库,“类型”为“平台知识库”,“状态”为“已启用”。单击知识库名称进入知识库详情页进行后续配置。
相关文档
创建平台知识库应用实践,请参考创建语文知识库。
常见问题
- 自定义的向量模型一直正常使用,突然在列表中无法被选中或消失了。
登录,在“模型管理”页面,检查该模型的“连通性”是否正常。只有状态显示为“正常”的模型,才能在agentarts中被正常选择和使用。
- 单击“创建模型”时,页面跳转失败怎么办?
当前登录的账号没有云搜索服务 css的权限,请联系主账号管理员添加对应的权限。需要添加的权限项为:css:cluster:list,具体操作请参考给iam用户授权。
- 为什么无法创建知识库?
套餐包知识库数量有限制,超过限制后无法再创建。用户可以删除闲置知识库后再创建。
相关文档
意见反馈
文档内容是否对您有帮助?
如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨