新建数据接入将源端数据迁移到运营中心-j9九游会登录
运营中心提供obs数据接入、mysql数据接入能力,通过与数据源连接,可以建立数据源中数据表的迁移任务,将源端数据迁移到运营中心,为后续业务做数据准备。
前提条件
- 需要具备appstage指标开发者或运营管理员权限,权限申请的操作请参见权限管理。
- obs接入和mysql接入,需先已完成在运营中心新建数据源。
obs接入
- 登录appstage控制台。
- 在快捷入口选择“运营中心”,进入运营中心。
- 在左侧导航栏选择“数据管理 > 通用数据接入”,进入通用数据接入页面。
- 单击“新建数据接入 > obs接入”,进入新建数据接入页面。
- 配置数据接入基础信息和任务信息,参数说明如表1和表2所示。
表1 基础信息 参数
说明
数据接入名称
必填。数据的名称或标识符。
长度不小于3,且不大于20。
数据源
必填。参数枚举值在数据源管理页面配置。
obs数据路径
必填。数据在obs桶中的路径。当配置“数据源”后,该参数显示。
- obs数据路径可选择文件夹与文件。如果选择文件夹要确保该文件夹下有csv或json格式的文件。
- obs数据路径中,如果同个文件夹里包含多个文件,请确保其文件格式一致。
- obs数据路径中,只能包含中文、英文、数字、下划线。
数据格式
必填。数据的格式。
- json:表示扩展名为.json的文件。
- csv:表示扩展名为.csv的文件。
说明:- csv文件支持utf-8格式。
- json文件、csv文件不能包含pt_d字段,且需要包含时间格式的字段。
表2 任务配置 参数
说明
任务类型
指定配置的任务类型。
- 周期性任务
- 一次性任务
是否存在历史数据
根据实际情况选择“是”或“否”。周期性任务数据不会导入以前的数据,如果需要查看以前的数据,该参数需配置为“是”。
仅当“任务类型”为“周期性任务”时,该参数为必填参数。
运行周期
指定配置任务的运行周期。仅当“任务类型”为“周期性任务”时,该参数为必填参数。
默认值:天
- 配置完成后,单击“下一步”。
- 在数据表结构页面,选择“分区字段”。
选择时间字段为分区字段。
- 请校验数据表结构中的字段类型,如果不匹配可能会导致后续的数据建模及分析出现异常或错误。
数据表结构中的“字段名”只能包含字母、数字、下划线。
- 校验数据表结构完成后,单击“保存并启用”。
mysql接入
- 在通用数据接入页面,单击“新建数据接入 > mysql接入”,进入新建数据接入页面。
- 配置数据接入基础信息和任务信息,参数说明如表3和表4所示。
表3 基础信息 参数
说明
数据接入名称
必填。数据的名称或标识符。
长度不小于3,且不大于20。
数据源
必填。参数枚举值在数据源管理页面配置。
数据表
数据表是一种数据结构,用于存储和管理数据。它由行和列组成,每一行表示一条记录,每一列表示一个属性。
数据表中不能包含pt_d字段,且需要包含时间格式的字段。
表4 任务配置 参数
说明
任务类型
指定配置的任务类型。
- 周期性任务
- 一次性任务
是否存在历史数据
根据实际情况选择“是”或“否”。周期性任务数据不会导入以前的数据,如果需要查看以前的数据,该参数需配置为“是”。
仅当“任务类型”为“周期性任务”时,该参数为必填参数。
运行周期
指定配置任务的运行周期。仅当“任务类型”为“周期性任务”时,该参数为必填参数。
默认值:天
- 配置完成后,单击“下一步”。
- 在数据表结构页面,选择“分区字段”。
选择时间字段为分区字段。
- 请校验数据表结构中的字段类型,如果不匹配可能会导致后续的数据建模及分析出现异常或错误。
- 校验数据表结构完成后,单击“保存并启用”。
更多操作
新建通用数据接入成功后,您还可以在通用数据接入页面执行如下操作。
|
操作 |
说明 |
|---|---|
|
启用数据接入 |
在指定数据接入名称操作列,单击“启用”,可以启用数据接入。 |
|
停用数据接入 |
在指定数据接入名称操作列,单击“停用”,可以停用数据接入。 |
|
预览数据接入 |
在指定数据接入名称操作列,单击“预览数据”,在“表数据”页签可以预览数据接入。 |
|
运行日志 |
在指定数据接入名称操作列,单击“更多 > 运行日志”,在“运行日志”页签可以查看指标运行日志。 |
|
删除数据接入 |
在指定数据接入名称操作列,单击“更多 > 删除”,可以删除数据接入。 如您确定要删除,请输入“delete”后单击“确认”。 |
相关文档
意见反馈
文档内容是否对您有帮助?
如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨