资源描述：
《阿里云数据集成服务-使用手册-D》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、数据集成使用手册消息队列/用户手册使用手册作业配置说明Job配置设计约定{"type":"job","traceId":"bazhen_001","version":"1.0","configuration":{"setting":{},"reader":{"plugin":"","parameter":{}},"writer":{"plugin":"","parameter":{}}}}在CDP提供的配置格式中，所有的Job配置规则都是按照统一的CDPJob定义，格式框架如下：其中：•type=job，代表底层使用批量离线的数据同步。•traceId，用户用来此traceId跟踪作业。•ve
2、rsion，版本号，公测版本CDP目前仅支持1.0版本格式。•configuration={}，是DataX本身进行数据传输的描述。具体而言，描述的是{源、目的、转换器(暂不支持)}。•所有的配置信息定义，均按照驼峰命名法进行配置key命名，且大小写敏感。用户必须保证配置必须严格按照文档定义格式进行填写。•由于JSON本身不支持注释，用户在参考CDP提供的样例配置必须剔除掉注释信息，否则JSON解析将会报错。101阿里云物联网套件/详细手册Job主体配置{"type":"job",//用户提交同步类型，包括Job/Stream"traceId":"bazhen_001",//用户用来此trac
3、eId跟踪作业"version":"1.0",//版本号，公测版本CDP目前仅支持1.0版本格式。"configuration":{"settting":{"key":"value"},"reader":{"plugin":"mysql",//这里填写源头数据存储类型的名称"parameter":{"key":"value"}},"writer":{"plugin":"odps",//这里填写目标端数据存储类型的名称"parameter":{"key":"value"}}}}一、Job基本配置Job基本配置定义了一个Job基础的、框架级别的配置信息，包括：其中：•type指定本次提交同步任务是
4、Job、Stream。•traceIdtraceId用来跟踪本次提交的Job。traceId是由用户指定，并且建议用户按照自己业务逻辑生成唯一ID，以方便后期的运维工作。CDP只提供触发式数据同步API，CDP本身不提供Job存储、Job定期调度、Job的DAG依赖触发等各类涉及工作流调度功能。因此同一份Job如果用户多次(非并行)进行提交，CDP将为每次提交的Job分配单个CDP集群(例如杭州集群)唯一的运行ID，该ID为Job的主键ID，由CDP服务生成并分配，CDP保证全局唯一性。如果用户希望对于每个数据同步任务配置使用同一个ID进行追踪，那么请为每个数据同步作业分配单一的traceID
5、。例如阿里云公有云产品"采云间"系统，其底层数据集成功能通过CDP完成。采云间使用"dpc+采云间作业ID"作为traceId向CDP提交Job。这样采云间可以方便的使用采云间作业ID在CDP中获取并追踪该采云间作业近期所有的运行状况。•version101阿里云物联网套件/详细手册目前所有Job仅支持版本号"1.0"，用户只能填写版本号为"1.0"。二、JobSetting配置{"type":"job","traceId":"bazhen_0001","version":"1.0","configuration":{"setting":{"errorLimit":{},"speed":{},
6、"column":{}}}}Job的setting域描述的是Job配置参数中，排除源端、目的端外有关Job全局信息的配置参数，比如Job流控、Job类型转换。总体如下：-configuration.setting.column(类型转换)CDP支持最基本的类型转换，用户可以自定义设定类型转换配置，用以描述一些基本的字段类型转换信息，包括：•datetimeFormat:设定datetime类型和string类型的转换format。•timeFormat:设定time类型和string类型的转换format。•dateFormat:设定date类型和string类型的转换format。{"typ
7、e":"job","traceId":"bazhen_0001","version":"1.0","configuration":{"setting":{"column":{"datetimeFormat":"yyyy-MM-ddHH:mm:ss","timeFormat":"HH:mm:ss","dateFormat":"yyyy-MM-dd","encoding":"utf-8"}}}}•en
