j9九游会登录/ 智果(agentarts)智能体平台/ api参考/ api/ / / 新建评估器 - createopsevaluator
更新时间:2026-07-17 gmt 08:00

新建评估器 -j9九游会登录

功能介绍

该接口用于在系统中注册并创建一个新的评估器(evaluator),通过定义具体的评估逻辑、判分准则及参数配置,为模型输出的质量度量提供标准化工具。

适用场景:

  • 自定义评价体系构建:针对特定业务领域(如法律、医疗),创建符合行业规范的判分插件或规则脚本。

  • 评测流程标准化:预设通用的评估模板(如准确率、相关性、毒性检测),实现多模型间的横向对比。

调用方法

请参见如何调用api

授权信息

账号根用户具备所有api的调用权限,如果使用账号下的iam用户调用当前api,该iam用户需具备如下身份策略权限,更多的权限说明请参见。

授权项

访问级别

资源类型(*为必须)

条件键

别名

依赖的授权项

agentarts:evaluator:createopsevaluator

write

evaluator *

-

-

-

uri

post /v1/ops/evaluators

请求参数

表1 请求body参数

参数

是否必选

参数类型

描述

evaluator_type

integer

参数解释:

评估器的核心执行模式。

约束限制:

整型数值,取值范围为int32。

取值范围:

  • 1: 模型评估器(模型评估器,基于大语言模型进行智能评判)

  • 2: 代码评估器(代码评估器,基于预设脚本逻辑进行规则判定)

  • 3: 自适应评估器

默认取值:

不涉及。

turn_type

string

参数解释:

评估器的轮次类型。

约束限制:

长度为0到100个字符。

取值范围:

  • single: 单轮评估器

  • multi: 多轮评估器

默认取值:

不涉及。

current_version

evaluationopscurrentversion object

参数解释:

评估器当前生效版本的详细配置结构体。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

name

string

参数解释:

评估器的业务名称。

约束限制:

长度为1到10000个字符。

取值范围:

中英文、数字、下划线(_)、中划线(-)组成的字符串。

默认取值:

不涉及。

description

string

参数解释:

对该评估器的功能逻辑和判定准则的详细文字补充。

约束限制:

长度为0到10000个字符。

取值范围:

任意字符串。

默认取值:

不涉及。

表2 evaluationopscurrentversion

参数

是否必选

参数类型

描述

description

string

参数解释:

当前版本的详细描述信息。

约束限制:

长度为0到10000个字符。

取值范围:

不涉及。

默认取值:

不涉及。

evaluator_content

object

参数解释:

评估器的核心配置json内容,包含评估逻辑、评分规则等配置项。

约束限制:

符合评估器配置json结构定义。

取值范围:

不涉及。

默认取值:

不涉及。

version

string

参数解释:

评估器的版本标识符。

约束限制:

0到10000字符。

取值范围:

符合语义化版本格式的字符串,如"v1.0.0"。

默认取值:

不涉及。

响应参数

状态码:200

返回创建评估器成功

请求示例

创建一个新的评估器

post https://api.example.com/v1/ops/evaluators
{
  "evaluator_type" : 1,
  "current_version" : {
    "description" : "description",
    "evaluator_content" : { },
    "version" : "v1.0.0"
  },
  "name" : "正确性评估",
  "description" : "评估提交的内容是否正确、准确、真实,并完整覆盖核心要点。"
}

响应示例

状态码:200

返回创建评估器成功

{
  "body" : {
    "evaluator_id" : "7ebc91e2-2380-4072-a503-6b20888abb08"
  }
}

状态码

状态码

描述

200

返回创建评估器成功

错误码

请参见错误码

相关文档

网站地图