新建评估器 -j9九游会登录
功能介绍
该接口用于在系统中注册并创建一个新的评估器(evaluator),通过定义具体的评估逻辑、判分准则及参数配置,为模型输出的质量度量提供标准化工具。
适用场景:
-
自定义评价体系构建:针对特定业务领域(如法律、医疗),创建符合行业规范的判分插件或规则脚本。
-
评测流程标准化:预设通用的评估模板(如准确率、相关性、毒性检测),实现多模型间的横向对比。
调用方法
请参见如何调用api。
授权信息
账号根用户具备所有api的调用权限,如果使用账号下的iam用户调用当前api,该iam用户需具备如下身份策略权限,更多的权限说明请参见。
| 授权项 | 访问级别 | 资源类型(*为必须) | 条件键 | 别名 | 依赖的授权项 |
|---|---|---|---|---|---|
| agentarts:evaluator:createopsevaluator | write | evaluator * | - | - | - |
uri
post /v1/ops/evaluators
请求参数
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| evaluator_type | 是 | integer | 参数解释: 评估器的核心执行模式。 约束限制: 整型数值,取值范围为int32。 取值范围:
默认取值: 不涉及。 |
| turn_type | 否 | string | 参数解释: 评估器的轮次类型。 约束限制: 长度为0到100个字符。 取值范围:
默认取值: 不涉及。 |
| current_version | 是 | evaluationopscurrentversion object | 参数解释: 评估器当前生效版本的详细配置结构体。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| name | 是 | string | 参数解释: 评估器的业务名称。 约束限制: 长度为1到10000个字符。 取值范围: 中英文、数字、下划线(_)、中划线(-)组成的字符串。 默认取值: 不涉及。 |
| description | 是 | string | 参数解释: 对该评估器的功能逻辑和判定准则的详细文字补充。 约束限制: 长度为0到10000个字符。 取值范围: 任意字符串。 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| description | 否 | string | 参数解释: 当前版本的详细描述信息。 约束限制: 长度为0到10000个字符。 取值范围: 不涉及。 默认取值: 不涉及。 |
| evaluator_content | 否 | object | 参数解释: 评估器的核心配置json内容,包含评估逻辑、评分规则等配置项。 约束限制: 符合评估器配置json结构定义。 取值范围: 不涉及。 默认取值: 不涉及。 |
| version | 否 | string | 参数解释: 评估器的版本标识符。 约束限制: 0到10000字符。 取值范围: 符合语义化版本格式的字符串,如"v1.0.0"。 默认取值: 不涉及。 |
响应参数
状态码:200
返回创建评估器成功
无
请求示例
创建一个新的评估器
post https://api.example.com/v1/ops/evaluators
{
"evaluator_type" : 1,
"current_version" : {
"description" : "description",
"evaluator_content" : { },
"version" : "v1.0.0"
},
"name" : "正确性评估",
"description" : "评估提交的内容是否正确、准确、真实,并完整覆盖核心要点。"
} 响应示例
状态码:200
返回创建评估器成功
{
"body" : {
"evaluator_id" : "7ebc91e2-2380-4072-a503-6b20888abb08"
}
} 状态码
| 状态码 | 描述 |
|---|---|
| 200 | 返回创建评估器成功 |
错误码
请参见错误码。
相关文档
意见反馈
文档内容是否对您有帮助?
如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨