ETL工具kettl应用说明

《ETL工具kettl应用说明》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Kettle工具在实际中的应用说明-：资源库的设置Kettle提供了两种资源库的选择方式：数据库存放、本地文件存放。数据库该方式是通过数据库连接直接在数据库里面创建kettle表，表里面记录着你所做的任何保存过的记录以及转换和任务。此方法是远程存放的方式，具有可多人共享一个资源库的优势,但是也存在资源库不稳定的缺点。以下就数据库资源库具体怎么实现做一下介绍：第一：0Spoon-［没有名称］文件(F)视圏ActionTools帮助在tools选项下面有[IOOISJ辛切Database►资丽►向导(W)►钢0)・・・在资源库选项里面有连接资源库选项，点击之后会出现如下界面:刚开始的时候是没

2、用任何连接的，需要根据自己的需要选择创建。修改资源库连接添加新的资源库删除选中资源库点那个加号图标就可以进入到新建选项页面：FilterRgQSelecttherepositorytypetocreateKettledatabaserepository:ThisrepositoryusesacentralrelationaldatabasetostoreETLmetadata.Kettlefilerepository:Thisisarepositorystoredinafileinacertainfolder.就(O)取i肖(C)在中间的显示栏中：第一行代表着写入到数据库的资源库、第二行

3、代表着保存到本地的资源库。点击第一行进入如下界面：点击新建按钮将会新建数据库连接，如果已经有你需要的数据库连接也可以选择你需要的。上面就是新建数据库页面，根据你的需要选择具体的数据库连接方式，填写好完成之后点击一下测试按钮，就可以知道数据库连接是否成功。到这里，资源库的连接已经做了一半了。接下来介绍另一半要做的事情。回到这个页面，填写唯一的ID、名称，然后点击创建或更新按钮，之后会出现一些SQL语句，执行这些语句，如果成功的话就创建成功了，如果失败则要检查一下数据库。最后点击确定按钮就成功了。这个时候就可以连接资源库了。选择你创建的资源库，admin用户的默认密码是admin,点击OK就

4、行了。本地接下来简单介绍一下本地资源库，其实是很简单的。FilterSelecttherepositorytypetocreateKettledatabaserepository:ThisrepositoryusesacentralrelationaldatabasetostoreETLmetadata.Kettlefilerepository:Thisisarepositorystoredinafileinacertainfolder.确走(O)选择第二行。将会看到如下页面:Basedirectory浏览(B)…Read-onlyrepository?□Hidehiddenfolder

5、sand□IDName

6、~

7、]朗肖(C)]这个就是本地的页面，比数据库简单多了，选择一下存放路径，给它一个ID号和名称，点击0K就可以了。资源库建好Z后就会进入到主页面了:文件(F)扁辑视图ActionTools帮助倉吕酉旦闫环对揃浏览器hQ

8、a转换QJobs这个就是主页面了，表面上是空空如也的。关于资源库的设置就就讲到这里了，关于更多的介绍请参照官方说明文档!实现增量更新的方法KettleI具并没有提供增量更新的选项，这个是要根据你的策略来实现的。基本的策略是根据时间字段來做增量更新。接下來我们就如何根据时间字段做增量更新。要实现增量更新的前提必须是原表必须要有一个时间字段，然后FI标

9、表根据这个时间字段来做查询和更新。（具体思想请参照开源ETL工具之增量更新设计技巧文档）如图：表输入表输入2表输出我将一一解释一下各个选项的具体作用O第一个表输入：这个是要获取目标表要做增量更新的时间字段的最大值，这个值将会传递给下一个表输入。此查询必须要保证只能传送一个值。第二个表输入:这个就是对原表的查询，要注意SQL语句里面的where子句。Where子句里面的判断字段就是做增量更新的时间字段，值就是前面一个表输入传递过來的。此时判断的值要用？來代替换SQL嚴里的證叼I从步珈入站炫入个选项要这样设置。表输出:这里就是要进行更新的目标表了，也就是第一个表输入的表。里面具体的一些选项请

10、参照kettle工具说明手册。以上就是增量更新的实现方法。开源ETL工具kettleZ增量更新设计技旺H：JOB定时的实现方法我们在实际应用当屮往往要实现定时的功能，kettle提供了定时的功能，这个只能在任务里面实现定吋的功能。见如下图：T_COUNT.ADSL_GZYQD在途单増里STARTWF_T_TASK_DE此在途单増里WFTREPLYR以秒计算的间馬:0f以分钟计算的间隔:120囹Timeofday:12昌0sDayof