欢迎来到天天文库
浏览记录
ID:35885760
大小:872.11 KB
页数:10页
时间:2019-04-22
《阿里云数据集成服务-快速开始-D》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、数据集成快速开始云数据库OceanBase/快速入门快速开始一、简介Pipeline是数据集成权限管理、资源隔离的基本单元,为权限管理、安全控制提供管理和控制,同时也是数据同步作业运行的容器。用户进入数据集成后,须首先创建一个Pipeline。Pipeline分为普通Pipeline和ECSPipeline。其中,普通Pipeline是在阿里云提供的服务器上创建,所有的同步作业也是运行在阿里云提供的服务器上,Pipeline数量、带宽是有限的,目前用户只能创建一个普通Pipeline;ECSPipeline上的同步作业是运行在用户自己的ECS机器上,数据集成平台对ECSPipe
2、line数量、带宽不作限制。二、创建步骤登录数据集成控制台进入控制台后会自动进入Pipeline管理界面,点击该页面右上角"创建Pipeline"按钮,如下图所示:点击后进入创建Pipeline页面:按照提示规则在页面中输入Pipeline名称和描述;9云数据库OceanBase/快速入门点击"确定"后,Pipeline就开始创建,创建成功后有如下图提示,并在Pipeline管理界面可看到Pipeline的创建信息。一、简介ECSPipeline是数据集成平台对外提供的稳定效、弹性伸缩的离线(批量)数据进出通道。有别于普通Pipeline,ECSPipeline上的同步作业是运
3、行在用户自己的ECS机器上,数据集成平台对ECSPipeline数量、带宽不作限制。二、环境要求1、已有杭州区域的ECS机器(点我购买),且ECS的系统是Centos564位2、ECS需开通8000端口(如何开通);三、创建步骤登录数据集成控制台进入控制台后会自动进入Pipeline管理界面,点击该页面右上角"创建ECSPipeline"按钮,如下图所示:9阿里绿网/使用手册第一步:创建ECSPipeline,获取唯一标识(username)和密码(password)(1)输入Pipeline名称和Pipeline描述,入下图所示,点击下一步(2)绑定服务器,勾选要绑定的ECS
4、机器,如下图所示,点击确定。若在其它服务中部署过同步服务,可点击直接使用。即可获得唯一标识(username)和密码(password)9阿里绿网/使用手册对于已经创建好的ECSPipeline,点击Pipeline管理页面"修改机器绑定",查看唯一标识(username)和密码(password),如下图所示:第二步:在选中的ECS机器上部署同步服务,部署步骤参考第四节,部署完成,点击Pipeline管理页面"修改机器绑定"可查看机器同步服务状态,若启动正常,则显示"正常"如下图所示:9阿里绿网/使用手册即可进入ECSPipeline创建作业。否则显示"已停止"。四、部署同步
5、服务$rm-finstall.sh;wgethttps://alisaproxy.shuju.aliyun.com/install.sh;[[-finstall.sh]]&&shinstall.sh--username=***--password=*****分别以root身份登录您已经绑定的ECS机器,下载同步服务安装包并部署,以root身份执行命令:成功后打印日志如下图所示:五、其它数据集成连接RDS同步数据需要使数据库标准协议连接数据库。RDS默认允许所有IP连接,但如果用户在RDS配置指定了IP白名单,用户需要添加CDP执行节点IP白名单。用户没有指定RDS白名单情况下,
6、不需要给CDP提供白名单。如何添加RDSIP白名单一、在作业管理界面,点击新建作业9云数据库Memcache版/购买指导二、填写作业配置此处可以根据自己的习惯来选择界面视图或json视图来配置作业:界面视图json视图9资源编排/API文档配置好后,点击立即运行,将会根据你的配置运行一次同步作业。三、查看作业状态在作业管理界面,将会看到你新建作业的最近一次运行记录,你可以关注下作业是否运行成功,速度多少。-点击"运行日志"能看到本次运行的详细日志-点击"终止"能终止本次运行-点击"修改"能修改作业配置-点击"下线"能将该作业下线,不再运行-点击"运行记录"能看到该作业左右的历史
7、运行记录一、想每天定时运行,如何配置在作业管理界面,将光标移动到想定时运行的作业,在运行周期列点击时钟图标:进入修改作业运行周期界面,配置cron表达式,目前最细粒度支持小时级别,如下图表示每小时的半点运行一次:9密钥管理服务/快速入门000000**?cron表达式一般格式如下:第一段:秒第二段:分第三段:小时第四段:天第五段:月第六段:周其中天和周不能同时设置:例如天设为*,表示每天;则周必须设为?,表示忽略举例-000000?:每天的零点执行-00001-4?:每天的1,2,3,4点执
此文档下载收益归作者所有