智能体运行时介绍-j9九游会登录
智能体运行时是一个安全隔离、框架无关的托管执行环境,专为生产级智能体设计,提供企业级的弹性伸缩与权限治理能力,帮助开发者专注于业务逻辑,无需关心底层基础设施的运维。
功能优势
- 安全隔离运行环境
- 安全沙箱:基于安全沙箱技术实现mircovm隔离,提供企业级运行时可靠性及安全保障。
- 框架无关性:支持基于agent框架(langchain、langgraph、google adk等)开发的智能体部署。
- 托管执行环境:安全隔离、与框架和模型无关的托管运行环境,确保智能体在独立、受控条件下运行。
- 企业级弹性与伸缩
- 自动弹性伸缩:支持基于业务流量的自动扩缩容能力。
- 高并发承载:从容应对流量洪峰,保障服务稳定性。
- 大规模支持:单用户可创建 1000 个智能体运行时,单运行时支持 1000 个版本。
- 精细化权限治理
- 多维度身份认证:提供 iam、oauth 2.0、api key 三种认证方式。
- 安全委托机制:支持 iam 委托,使智能体能安全地代表用户与外部系统交互。
- 灵活网络配置:支持公网/私网访问,保障网络环境安全。
- 灵活部署方式:
- 支持控制台可视化部署和 sdk 命令行部署。
- 版本化管理,支持多版本管理和历史版本回溯。
- 平滑镜像更新,更新过程有序可控。
- 完善的可观测性
- 日志监控:集成华为云云日志服务(lts),实时查看运行时日志。
- 健康检查:支持自定义健康检查端点,提供 healthy、healthy_busy、unhealthy 三种状态。
- 灵活访问控制
- 多访问方式:每个运行时最多创建 10 个访问方式,支持绑定不同版本。
- 文件传输:支持开启文件上传下载 api 接口。
- 入栈协议:支持 http 和 mcp 两种入栈协议。
- 丰富的运行时配置
- 环境变量:支持表单编辑和 json 格式两种方式配置环境变量。
- 启动命令:支持自定义启动命令,最多配置 10 个命令。
- 存储扩展:支持 sfs turbo 弹性文件系统扩展存储,最多挂载 5 个存储卷。
- 标签管理:支持资源标签分类管理,最多添加 20 个标签。
- 完整的 api 生态
- restful api:提供标准 restful api 支持业务系统集成。
- 完整 sdk:提供 runtime、tools、memory、identity、mcp gateway 等多维度 sdk。
- cli 工具:命令行工具支持部署、调用、状态查询、资源销毁等全生命周期管理。
- openapi 支持:提供完整的 openapi 接口文档,支持二次开发。
镜像制作约束与限制
为了让您的自定义高码智能体(如基于 langchain 开发的代码)能够在 agentarts 运行时中被正确调度和访问,您制作的 docker 镜像必须满足以下规范:
- 请使用arm64系统制作的agent镜像,使用x86系统制作的镜像在调用智能体运行时时会调用失败。
- 兼容 agentrun 入栈协议
agentarts 平台通过标准的 agentrun 协议与应用程序进行通信。要求如下:
监听指定端口:默认监听 8080 端口。
实现标准接口:- http 协议:需提供 post /invocations 端点,以适配传统请求响应模式。
- websocket 协议(可选):需提供 /ws 端点,以实现实时双向流式通信。
推荐使用agentarts sdk。sdk内置了协议转换能力,您只需关注核心业务逻辑,无需手动编写路由和协议接口。
该sdk提供agentartsruntimeapp方法,用于将您的智能体逻辑封装为标准http服务器,并暴露以下接口:
- post /invocations - 用于智能体调用端点
- ws /ws - 用于流式传输的websocket端点
- 无状态与本地磁盘约束
智能体部署在分布式弹性伸缩集群,在沙箱空闲触发弹性伸缩时,本地磁盘数据全部丢失。
- 禁止依赖本地文件系统:安全沙箱随时可能被销毁或水平扩容,写入本地磁盘(如 sqlite、本地日志文件、本地缓存)的数据会丢失。
- 状态持久化方案:请使用 agentarts 提供的记忆库(memory)组件进行上下文持久化,或使用华为云 sfs turbo 弹性文件系统存储实体文件。
使用流程
- 构建智能体镜像并上传至swr
支持基于主流的agent框架开发的智能体部署,在部署前您需要将智能体打包为镜像并上传至swr,相关操作可参考。
- 部署智能体运行时
指定已上传至 swr 的镜像,并配置网络、安全访问、环境变量等参数信息,即可将智能体托管至运行时。具体请参考通过控制台部署智能体运行时。
- 调用智能体运行时
agentarts提供open api请求方式,通过调用路径发送请求,程序将调用应用并返回预期结果。具体请参考。
- 观测智能体运行时
部署智能体运行时开启日志记录后,支持日志监控,以实时洞悉您的智能体性能、准确性和可靠性,详细操作请参见查看智能体运行时日志。
除了使用控制台,智能体运行时也支持通过sdk进行部署与调用(涵盖初始化、配置、构建、部署及运维),详细操作可参见通过sdk部署智能体运行时。
相关文档
意见反馈
文档内容是否对您有帮助?
如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨