使用qwen2-j9九游会登录

约束限制

该功能仅支持“西南-贵阳一”和“华东二”区域。

操作流程

开始使用如下样例前，请务必按准备工作指导完成必要操作。

1. 步骤一：创建我的模型：使用基础模型创建自定义模型。
2. 步骤二 ：部署模型服务：使用创建成功的自定义模型部署模型服务。
3. 步骤三：在模型体验中使用模型服务：在“文本对话”页面，体验部署的模型服务，进行对话问答。

准备工作

• 已注册华为账号并开通华为云，进行了实名认证，且在使用modelarts前检查账号状态，账号不能处于欠费或冻结状态。具体操作，请参见注册华为账号并开通华为云和实名认证。
• 配置委托访问授权
  modelarts使用过程中涉及到与obs、swr等服务交互，首次使用modelarts需要用户配置委托授权，允许访问这些依赖服务。

  1. 使用华为云账号登录，按照控制台显示按需选择以下操作。
     • 在左侧导航栏选择“权限管理”。
     • 在左侧导航栏选择“系统管理 > 权限管理”。
     • 在左侧导航栏选择“全局配置”。
  2. 单击“添加授权”，配置相关参数。

     下文以iam子用户为例进行说明，您可以按需修改。

     图1 添加授权示例
     

     表1 参数说明

     参数	说明
     “授权对象类型”	选择“iam子用户”。
     “授权对象”	选择指定的iam子用户，给指定的iam子用户配置委托授权。
     “委托选择”	选择“新增委托”。
     “ 委托名称”	系统自动创建委托名称，用户可以手动修改。
     “权限配置 ”	选择“普通模式”，在“权限模板”下拉框选择“maas（modelarts studio）”。 图2 普通模式

  3. 勾选“我已经阅读并同意《modelarts服务声明》”，单击“创建”，即可完成委托配置。

步骤一：创建我的模型

1. 登录，在顶部导航栏中选择目标区域。
2. 在左侧导航栏，按需选择以下操作。
   • 西南-贵阳一：选择“模型定制 > 我的模型”。
   • 其他区域：选择“模型管理 > 我的模型”。
3. 在“我的模型”页面右上角，单击“创建模型”。
4. 在“创建模型”页面，配置相关参数。

   表2 创建模型

   参数	说明	取值样例
   来源模型	单击“请选择模型”，在“选择模型”对话框按需选择模型和版本，单击“确定”。	qwen2-7b
   模型名称	自定义模型名称。	qwen2-7b
   描述	自定义模型简介。	-
   权重设置与词表	默认选择“自定义权重”。	自定义权重
   自定义权重存储路径	将权重文件存储到obs桶中，且权重文件必须满足对应模型的文件格式要求。 权重文件指的是模型的参数集合。obs桶必须和maas服务在同一个region下。 关于如何获取权重文件，请参见。 说明： 如果hugging face网站打不开，请在互联网上搜索j9九游会登录的解决方案。 关于权重文件的格式要求，请参见约束限制。 关于如何将权重文件存储到obs桶，请参见上传概述。 单击“自定义权重存储路径”右侧的文件图标，选择存放模型权重文件的obs路径（必须选择到模型文件夹），然后单击“确定”。 单次上传本地文件到obs的总大小不能超过5gb，详情请参见。	/3003****/79abed0d-2622-4cd0-80fc-2065ebe****/

5. 参数配置完成后，单击“创建”，创建自定义模型。
6. 在模型列表，单击模型名称可以进入详情页查看模型详细信息和任务。
   当模型“状态”变成“创建成功”时，表示模型创建完成。

   图3 查看我的模型状态
   

步骤二 ：部署模型服务

1. 模型创建成功后，在“我的模型”页面，单击目标模型右侧操作列的“部署”。
2. 在“部署模型服务”页面，完成创建配置。

   表3 部署模型服务

   参数		说明	取值样例
   服务设置	服务名称	自定义模型服务的名称。	service-1122
   	描述	自定义部署模型服务的简介。	-
   模型设置	部署模型	当从“我的模型”进入部署模型服务页面时，此处默认呈现选择的模型。	qwen2-7b
   资源设置	资源池类型	资源池分为公共资源池与专属资源池。 公共资源池由所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。	公共资源池
   	实例规格	选择实例规格，规格中描述了服务器类型、型号等信息。 说明： 公共资源池暂未完全公开，如需申请使用，请联系与您对接的销售人员或拨打4000-955-988获得支持，您也可以在线提交。	ascend: 1*ascend-snt9b2 | arm: 24 vcpus 96000mb
   	流量限制（qps）	设置待部署模型的流量限制qps。	3
   	实例数	设置服务器个数。	1
   更多选项	内容审核	选择是否打开内容审核，默认启用。 开关打开（默认打开），内容审核可以阻止在线推理中的输入输出中出现不合规的内容，但可能会对接口性能产生较大影响。 开关关闭，停用内容审核服务，将不会审核在线推理中的输入输出，模型服务可能会有违规风险，请谨慎关闭。 关闭“内容审核”开关，需要在弹窗中确认是否停用内容审核服务，勾选后，单击“确定”关闭。	打开
   	事件通知	选择是否打开“事件通知”开关。 开关关闭（默认关闭）：表示不启用消息通知服务。 开关打开：表示订阅消息通知服务，当任务发生特定事件（如任务状态变化或疑似卡死）时会发送通知。此时必须配置“主题名”和“事件”。 “主题名”：事件通知的主题名称。单击“创建主题”，前往消息通知服务中创建主题。 “事件”：选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。	关闭
   	自动停止	当使用付费资源时，可以选择是否打开“自动停止”开关。 开关关闭（默认关闭）：表示任务将一直运行。 开关打开：表示启用自动停止功能，此时必须配置自动停止时间，支持设置为“1小时”、“2小时”、“4小时”、“6小时”或“自定义”。启用该参数并设置时间后，运行时长到期后将会自动终止任务，准备排队等状态不扣除运行时长。	关闭

3. 参数配置完成后，单击“提交”。

   “资源池类型”选择“公共资源池”时，会出现“计费提醒”对话框，请您仔细阅读预估费用信息，然后单击“确定”，创建部署任务。模型部署会基于资源占用时长进行计费。服务状态为运行中时会产生费用，最终实际费用以账单为准。

   在“我的服务”列表中，当模型部署服务的“状态”变成“运行中”时，表示模型部署完成。

步骤三：在模型体验中使用模型服务

1. 在左侧导航栏中，选择“模型推理 > 在线推理”。
2. 在“在线推理”页面，单击“我的服务”页签，在目标模型服务右侧，单击操作列“更多 > 在线体验”，进入“文本对话”页面。
3. （可选）在“文本对话”页面左上方，单击“模型参数”，按需拖动或直接输入数值配置推理参数，获得更好的推理效果。单击“恢复默认”可以将参数值调回默认值。
   图4 设置推理参数
   

   表4 参数设置

   参数	说明	取值样例
   温度/temperature	设置推理温度，用于控制生成文本的随机性和创造性，temperature数值越大随机性越大。 数值较低，输出结果更加集中和确定。 数值较高，输出结果更加随机，更有创意性。 取值范围：0~2 默认值：不同模型的默认值不同，请以实际环境为准。	0.7
   核采样/top_p	设置推理核采样，用于调整输出文本的多样性。top_p数值越大，生成文本的多样性就越高。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：0.1~1 默认值：不同模型的默认值不同，请以实际环境为准。 详细解释：top_p可以设置tokens候选列表的大小，将可能性之和刚好超过设定值p的top tokens列入候选名单，然后从候选名单中随机采样，生成一个token。	1
   top_k	用于控制输出tokens的多样性。top_k值越大输出的tokens类型越丰富。选择在模型的输出结果中选择概率最高的前k个结果。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：1~1000 默认值：20 详细解释：top_k可以设置保留概率最高的前k个tokens，从中随机抽取一个token作为最终输出。这种方法可以限制输出序列的长度，并仍然保持样本的一定多样性。	20

4. 在对话框中输入问题，查看返回结果，在线体验对话问答。
   图5 体验模型服务
   

   对于生成的内容，您可以在模型对话框左下方，单击图标复制回答，也可以单击图标重新生成回答。

   如果您需要开启新对话，可以在页面右上角单击“开启新对话”，在对话框单击“确定”。开启新对话将清除全部对话，无法保留对话记录。

后续操作