欢迎来到天天文库
浏览记录
ID:68910261
大小:673.50 KB
页数:22页
时间:2022-01-02
《ETL全量及增量总结》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库。
1、-.InformaticaPowerCenter8.6全量与增量总结ζ太阳团队ξ--.可修编-.-.文档变更记录版本编号变更人变更日期备注V1.0郭鹏飞2014-5-27目录ETL全量与增量3设置Oracle连接3设置时间变量3ETL全量4整个过程预览42创立一个Mapping43源与目标的导入5导入源5导入目标表6--.可修编-.-.4组建Mapping7翻开源节点7插入“表达式组件〞7添加字段7添加字段或修改字段类型8添加目标表8添加删除条件9连接目标表9ETL增量10整个过程预览10组建Map
2、ping10添加LookupTransformation11时间戳的定义11Epressiontransformation设置12添加UpdateStrategyTransformation12测试14考前须知全量16全量16考前须知增量17--.可修编-.-.ETL全量与增量设置Oracle连接在oracleproduct10.2.0db_1etworkADMIN路径下,双击文件,对oracle连接进展配置。例如:ods=(DESCRIPTION=(FAILOVER=yes)(ADD
3、RESS=(PROTOCOL=TCP)(HOST=10.100.20.11)(PORT=1521))(ADDRESS=(PROTOCOL=TCP)(HOST=10.100.20.13)(PORT=1521))(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=cedb)))这个是ODS的连接地址。设置时间变量点击Mapping,选择,在点击。--.可修编-.-.ETL全量ETL全量,即将源库里的数据全部导进目标库,其重要注意的是,可能要添加'ETL_DATE'
4、这个字段。整个过程预览--.可修编-.-.2创立一个Mapping〔1〕单击Mapping,点击create…这个是给Mapping起名字,起名规那么:M_目标表说明。例如:M_ODS_CE_BORROW_CONTRACT〔2〕单击Mapping,点击Edit…可以修改Mapping名,修改完成之后点击OK3源与目标的导入导入源〔SourceAnalyzer〕点击这个按钮在工具栏点击Sources这个按钮--.可修编-.-.点击ImportfromDatebase…点击…〔如果已有ODBCdatas
5、ource,那么直点击进展选择〕点击添加,选择Oraclein….(如果要是MySQL的源就选择上面的MySQLODBC…)--.可修编-.-.这里是数据库配置的名字这里是源文件夹中的名字完成后点击OK。输入用户、密码点击Connect即可(注:我的ODBCdatasource:ODS(OraDb10g_home2)是我自己配置的,一般的是ODS(OraDb10g_home1))当其显示Re-connect时,表示连接上了源数据库。展开这两个节点,单击所需要的源表,点击OK即可。导入目标表〔Targ
6、etDesigner〕点击这个按钮其他的步骤与导入源一直,可参考上边的文档。--.可修编-.-.4组建Mapping〔MappingDesigner〕点击这个按钮翻开源节点选择这个节点并翻开。选择你的源表,点击右键,选择Open.这样源表就会在右边的Designer界面显示了。插入“表达式组件〞点击F(x)组件,在右侧Designer界面在单击一下。添加字段将源中的字段全选,拖入表达式组件中。--.可修编-.-.添加字段或修改字段类型有的目标表可能比源表多了一个'ETL_DATE',这时候需要我们在
7、Mapping过程的‘ExpressionTransformation’这个组件,添加一列,命名为'ETL_DATE',字段类型为'date/time'且只输出〔O〕,在后面条件框里边输入'TO_DATE($$today,'yyyy-mm-ddhh24:mi:ss')'注:$$today是在Mapping中自己定义的时间变量!有的源表与目标表的字段类型不一样,这时候需要我们在Mapping过程的‘ExpressionTransformation’这个组件中转换一下字段类型。例如:源表中的ahead_
8、time的字段类型是nstring型,而目标中字段类型为'date/time',这时我们需要转换。双击表达式组件,选择Ports页,点击选中ahead_time行,单击复制在点击粘贴单击按钮,在弹出来的对话框写入to_date(ahead_time,'yyyy-mm-ddhh24:mi:ss')输入完成后点击Validate,显示…successfully后即转换成功,点击确定->OK->确定即设置成功。--.可修编-.-.添加目标表翻开Targets节点,选择目标表
此文档下载收益归作者所有