gpu函数概述-j9九游会登录

约束与限制

• 目前该功能仅“华东-上海一”和“土耳其-伊斯坦布尔”区域支持，其中“土耳其-伊斯坦布尔”区域需开通白名单后支持。
• gpu函数不支持的网段：192.168.64.0/18，192.168.128.0/18，10.192.64.0/18，10.192.128.0/18。

应用场景一：准实时推理场景

特征

在准实时推理应用场景中，工作负载具有以下一个或多个特征：

• 调用稀疏

  日均调用几次到几万次，日均gpu实际使用时长远低于6~10小时，gpu存在大量闲置。

• 单次处理耗时长

  准实时推理业务的处理耗时一般在秒级~分钟级。例如，典型的cv任务处于秒级别，典型的视频处理和aigc场景均处于分钟级别。

• 容忍冷启动

  业务可以容忍gpu冷启动耗时，或者业务流量波形对应的冷启动概率低。

功能优势

函数计算为准实时推理工作负载提供以下功能优势：

• 原生serverless使用方式

  函数计算平台默认提供的按量gpu实例使用方式，会自动管理gpu计算资源。根据业务的请求数量，自动弹性gpu实例，最低0个实例，最大可配置实例数量。

• 规格最优

  函数计算平台提供的gpu实例规格，根据业务需求，选择卡型并配置使用的显存和内存的大小，为您提供最贴合业务的实例规格。

• 成本最优

  函数计算平台提供的按量付费能力，对于低gpu资源利用率的工作负载，降本幅度可达70%以上。

应用场景二：实时推理场景

特征

在实时推理应用场景中，工作负载具有低延迟特征，即单次请求的处理时效性要求高，rt（response time）延迟要求严格，90%的长尾延时普遍在百毫秒级别。

功能优势

函数计算为实时推理工作负载提供以下功能优势：

• 预留gpu实例

  函数计算平台提供了默认的按量gpu实例之外的另一种gpu使用方式——预留gpu实例。如果您希望消除冷启动延时的影响，满足实时推理业务低延迟响应的要求，可以通过配置预留gpu实例来实现。更多关于预留模式的信息，请参见为函数配置预留实例。

• 服务质量优先，服务成本次优

  预留gpu实例的计费周期不同于按量gpu实例，预留gpu实例是以实例存活生命周期进行计费，而不考虑实例的活跃与闲置（不按请求计费）。因此，相较于按量gpu实例，总体使用成本较高，但相较于长期自建gpu集群，降本幅度达50%以上。

• 规格最优

  函数计算平台提供的gpu实例规格，允许您根据自己的工作负载选择不同的卡型，独立配置gpu/mem。最小gpu规格小至1 gb显存/算力，将为您提供最贴合业务的实例规格。

• 突发流量支撑

  函数计算平台提供充足的gpu资源供给，当业务遭遇突发流量时，函数计算将以秒级弹性供给海量gpu算力资源，避免因gpu算力供给不足、gpu算力弹性滞后导致的业务受损。

应用场景三：离线异步任务场景

特征

在离线异步应用场景中，工作负载具有以下一个或多个特征：

• 执行时间长

  业务的处理耗时一般在分钟~小时级，response time不敏感。

• 提交后立即返回

  在触发调用后立即得到返回，从而不因长耗时处理阻塞业务主逻辑的执行。

• 实时感知任务状态

  无

• 并行处理

  离线gpu任务需要处理大量数据，对gpu资源供给要求高，通过api调用并行运行加快处理速度。

• 数据源集成

  离线gpu任务对数据源的需求多种多样，处理过程中需要与多种存储产品（例如对象存储obs）和多种消息产品（例如消息队列）进行频繁交互。

功能优势

函数计算为离线异步应用类工作负载提供以下功能优势：

• 业务架构简化

  对于长耗时，采用异步处理，提高系统响应速度、资源利用率和可用性。

• 充足的gpu资源供给

  函数计算平台提供充足的gpu资源供给，适合忙闲流量分明（长时空闲、短时繁忙）、忙闲流量不可预知的离线业务。

• 数据源集成

  函数计算支持多种数据源触发方式，例如对象存储obs、消息队列等。