基于etl的企业数据交换平台的设计与实现

《基于etl的企业数据交换平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文（工程硕士）基于ETL的企业数据交换平台的设计与实现THEDESIGNANDIMPLEMENTATIONOFTHEENTERPRISEDATAEXCHANGEPLATFORMBASEDONETLTOOL张春亮哈尔滨工业大学2016年6月国内图书分类号：TP311学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文基于ETL的企业数据交换平台的设计与实现硕士研究生：张春亮导师：翟健宏副教授副导师：汪洋高级工程师申请学位：工程硕士学科：软件工程所在单位：软件学院答辩日期：2016年6月授予学位单位

2、：哈尔滨工业大学ClassifiedIndex：TP311U.D.C.:621.3DissertationfortheMaster’sDegreeinEngineeringTHEDESIGNANDIMPLEMENTATIONOFTHEENTERPRISEDATAEXCHANGEPLATFORMBASEDONETLTOOLCandidate：ZhangChunliangSupervisor：AssociateProfessorZhaiJianhongAssociateSupervisor:SeniorEngineerWangY

3、angAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：June,2016Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要随着社会的发展，现代信息企业的数字化建设成为发展的必然趋势。随着时间的推移，企业的发展壮大过程中各个部门都具有独立完善的业务系

4、统。由于历史因素、人为因素和地理因素等，导致数据无法在系统之间流通，而形成“信息孤岛”式业务，这种业务方式已经严重影响企业的信息化建设。因此，项目组根据跨地域、跨网段的数据共享的需求，设计一个数据交换平台来解决上述问题。ETL（Extract-Transform-Load）是当前较流行的数据交换技术，论文以开源ETL工具Kettle为基础，企业数字化建设需求为背景，分析数据交换平台的发展状况和研究现状，对ETL工具二次开发。对Kettle进行改造，从技术的角度上改进了ETL工具上数据传输过程，优化了定时启动功能。并为之后管理

5、人员使用提供平台的实时信息。Kettle的一大特点是纯Java编写的，因此，本文使用Java为基本的开发语言，数据交换平台总体设计上是由数据交换节点分布在不同地域组成的。数据交换过程分为本地数据交换和异地数据交换，在本地局域网内的数据交换过程利用Kettle内部提供的接口可直接实现对数据交换节点上的数据库表和文件进行多样化的导入导出。本文的主要工作如下：1）异地数据交换过程中，利用Kettle解决数据异构性的问题，摒弃了Kettle和FTP服务器或VPN链接结合的过程，采用对Kettle工具二次开发过程实现的套接字发送功能，

6、可直接对Kettle的部署完成数据在异地传输。2）为保证数据的高效、安全、稳定传输，在进行套接字发送过程中增加嵌套文件扫描、路由同步等功能，并使用遗传算法解决数据传输过程中多目标路径选择的问题。3）数据进行异地传输过程中，主要采用文件的方式进行交换，文件在传输过程中可以记录数据交换过程的断点位置，为断点续传做准备，数据也可进行加密处理防止被窃取等操作。实际的测试过程中，本平台可以完成数据交换的基本功能，并实现本地、异地不同的定时数据交换机制，数据可以长期稳定的从起始节点经过中间节点路由传输到目的节点。该数据交换平台已经简单的

7、部署，运行情况良好，满足管理人员的基本需求。关键词：ETL；数据交换；数据监控；遗传算法；性能优化-I-哈尔滨工业大学工程硕士学位论文AbstractWiththedevelopmentofthesociety，enterprisemodernizationanddigitizationhasbecomeaninevitabletrendofdevelopment,andeachdepartmentoftheenterprisehasanindependentbusinesssystems.Becauseofthehisto

8、ricalfactors,humanfactorsandgeographicalfactors,thedataofthesystemcannotcirculate,thistypeof“isolatedislandofinformation”hasseriouslyaffectedthew