上传与使用自定义模型(可选)-j9九游会登录
functiongraph应用中心的ai对话应用中内置了默认模型chatglm3-6b,如需使用更多自定义模型进行ai对话,需要在创建成功的应用中初始化自定义模型挂载文件系统,并添加环境变量使用自定义模型。
前提条件
- 完成部署ai对话chatglm3准备工作,委托中包含“swr admin”、“vpc administrator”、“server administrator”、“sfs fullaccess”和“sfs turbo fullaccess”权限。
- 完成部署和使用ai对话chatglm3应用,应用创建成功。
步骤一:创建sfs turbo文件系统
- 登录,选择“sfs turbo”,单击“创建文件系统”,进入“创建文件系统”界面。
- 在“创建文件系统”界面,参考表1填写参数。其他参数保持默认即可,如需使用其他参数请参考。
表1 文件系统参数说明 参数
参数说明
取值样例
计费模式
必选参数。
- 按需计费:适用于灵活使用场景。
- 包年/包月:适用于可预估资源使用周期的场景。
按需计费
区域
必选参数。
文件系统部署的区域。当前ai对话应用仅支持在“华东-上海一”部署,且需与创建的虚拟私有云vpc保持一致。
华东-上海一
项目
必选参数。
项目部署的区域。根据区域选择默认同步设置。
华东-上海一(默认)
可用区
必选参数。
与创建的子网可用区保持一致。
可用区1
类型
必选参数。
根据推荐场景和实际情况选择文件系统类型和性能。本例支持选择所有文件系统类型,推荐选择适合大多数使用场景的 250 mb/s/tib类型。
250 mb/s/tib
容量
必选参数。
单个文件系统的最大容量。请根据实际需求选择,输入值应位于1.2至1023.6的区间内且必须为1.2的整数倍。
1.2
企业项目
必选参数。
与创建虚拟私有云vpc时的选择保持一致。
default
选择网络
必选参数。
文件系统所属的vpc和子网。选择创建虚拟私有云vpc和子网中创建的vpc与子网。
vpc-fg;
subnet-fg(192.168.x.x/24)
名称
必选参数。
文件系统的名称。要求如下:
- 长度范围为4~64位,并以字母开头。
- 只能由英文字母、数字、下划线“_”和中划线“-”组成。
sfs-turbo-fg
- 参数配置完成后,单击“立即创建”,再次确认信息后单击“提交”,等待文件系统创建任务提交成功即可。
步骤二:初始化自定义模型
- 登录,区域选择“华东-上海一”。在左侧导航栏选择“应用中心”,单击创建成功且需初始化的应用名称,进入应用详情页面。
- 在应用详情页面,如图1所示单击“初始化自定义模型”,请仔细阅读弹出的说明后进行勾选操作,单击“确定”弹出初始化窗口。
图1 初始化自定义模型
- 在“初始化自定义模型”窗口填写如下参数:
- vpc:选择“vpc-fg(192.168.x.x/16)”。
- 子网:选择“subnet-fg(192.168.x.x/24)”。
- 文件系统来源:选择“sfs turbo”。
- 文件系统名称:选择“sfs-turbo-fg”。
其他参数保持默认,如图2所示,配置完成后单击“确定”。
图2 初始化自定义模型
- 返回应用详情界面,“初始化自定义模型”按键变更为“上传模型”按键即初始化成功,单击“开始使用”进入webui界面,系统将在文件系统中自动创建与部署应用所需的目录和文件。
成功进入webui界面后无需进行操作,此操作用于加载文件系统中的目录和文件,便于后续上传自定义模型。
步骤三:上传与使用自定义模型
- 返回应用详情界面,单击“上传模型”进入文件管理页面,默认用户名和密码均为“admin”,登录后请在“设置”页签修改密码,保证数据安全。
- 与上传自定义模型相关的部分关键目录如表2 关键目录路径所示,可将模型文件上传到对应目录下。
表2 关键目录路径 路径
用途
chatglm/model
保存chatglm的各类模型文件夹。
- 文件上传完成后,返回应用详情界面,在“资源”列表中找到逻辑名称为“chatglm”的函数资源,如图3所示单击链接进入函数详情页面。
图3 chatglm函数资源
- 在“设置 > 环境变量”页签,单击“编辑环境变量”,在弹出窗口中单击“添加环境变量”,参考表3添加环境变量,填写完成后单击“确定”。
表3 自定义模型环境变量 键
值
说明
model_name
模型文件夹名称,例如使用内置默认模型即填写chatglm3-6b。
环境变量值应为文件系统中“chatglm/model”路径下您需要使用的模型文件夹名称,切换自定义模型使用时需相应的更改环境变量值。
- 重新打开chatglm3 webui界面即可使用自定义模型进行ai对话。
相关文档
意见反馈
文档内容是否对您有帮助?
如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨