阿里云数据集成服务-Console参考-D

《阿里云数据集成服务-Console参考-D》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据集成Console参考手册数据集成/Console参考手册Console参考手册一、简介CDP-Console(以下简称Console)是数据集成提供的，基于命令行交互方式的操作CDP管理工具。本文介绍了Console的安装、使用方式。本部分面向读者是Console相关的开发测试人员、使用人员。另外访问CDP服务需要AK信息即AccessKeyID和AccessKeySecret。文中的ID指的是AccessKeyID，KEY指的是AccessKeySecret，每个使用者具体可以生成多个AK，也可修改AK的使用状态（是否启用）。二、设计原则-Console的设计沿用UNIX

2、Shell程序约定俗称的原则，包括成功退出值为0、错误非0，使用一次性输入参数，一次做且仅做一个任务。-Console区分标准输出和标准错误，对于错误输出需提供trace-id，HTTP错误码，错误信息等。标准输出尽可能精简（除用户需要verbose调试方式之外），对于无返回操作（比如删除Pipeline）执行成功不打印任何信息，仅提供进程退出值0作为判断。-考虑到外部系统集成(例如ADC、孔明灯、DFS等)，我们只考虑提供基于命令行的一次性输入方式，即单独命令完成单项或者多项的任务内容，Console不提供互动的交互式输入方式。-对于ApacheSqoop产品，其对于创建作业等

3、操作提供了交互式输入命令行，但是CDPConsole摒弃这类使用方法。带来的好处是方便其他系统集成，缺点是用户需要在命令行编写JSON参数，相对复杂。-考虑到用户在命令行输入JSON参数比较难以操作，对于交互式的用户，我们提供-f参数，指定用户可以在文本在编写好JSON，将文件名作为参数提供给Console。-考虑到Console存在大量和CDP交互的网络过程，提供-verbose方式追踪所有调用细节，方便Console高级用户跟踪和调试。一、环境准备-Bash等类NIXShell命令行(zsh,ksh,csh等)，一般Linux、Mac系列操作系统都有带，Windows系列推荐

4、使用Cygwin模拟NIXShell环境-Console内部基于CDPJavaSDK实现，外部使用BashShell封装，因此需要Bash（或其他*NIXShell）运行环境-JRE1.6及以上,Console内核使用CDPJavaSDK与CDPService进行交互,因此需要本地安装JRE，并9DDoS高防IP/最佳实践要求JRE版本必须为1.6及以上版本。Console启动时会自动检测JAVA的环境变量是否设置，请使用如下命令设置您的JAVA环境变量(对于政企输出机器的标准配置)：exportJAVA_HOME=/opt/taobao/java二、安装与配置-如果您获取到的是

5、CDPConsole的rpm安装包，请执行：sudorpm-Uvht_dp_cdp_console-1.0.1-224427.noarch.rpm进行安装（根据具体的rpm版本选择）；-如果您获取到的是CDPConsole的gzip等压缩包，直接解压到指定目录即可（确保运行用户有可执行权限）。2.1安装后目录结构cdp-console/

6、--README

7、--bin

8、`--cdp

9、--conf

10、`--cdp.properties

11、--lib

12、

13、--cdp-console-1.1.0-SNAPSHOT.jar

14、

15、--cdp-sdk-java-1.1.0-20150123.02454

16、0-90.jar

17、

18、--…`--template

19、--odps2rds_job.json

20、--pipeline.json

21、--rds2odps_job.json`--stream2stream_job.json安装完成后CDPConsole的目录文件树如下所示：其中：/bin目录下存放Console执行启动命令；/conf目录下存放Console配置信息；/lib目录下存放Console执行需要的jar包；/template目录下存放Console提供的样例配置.2.2配置文件Console配置文件会存放CDPConsole相关的配置信息。Console在启动前会根据CDP_HO

22、ME寻找相关的配置文件，并自动加载使用该配置。配置文件路径在：${CDP_HOME}/conf/cdp.properties配置文件以#CDPconsole版本client.version=201511111111#CDP服务访问点.properties格式提供，具体说明如下:9大数据处理服务MaxCompute/Datahub服务service.url=http://cdp.aliyun.com/api#connection超时设置，可选，默认5000service.timeo