jq_etl久其etl数据集成工具用户手册（更新至2.8.1）

《jq_etl久其etl数据集成工具用户手册（更新至2.8.1）》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、u北京久其软件股份有限公司总机：010-88551199传真：010-88551196邮箱：jiuqi@jiuqi.com.cn技术支持：010－88551199-2公司网址：www.jiuqi.com.cn目录第1章概述11.1什么是ETL11.2名词定义2第2章系统基础32.1系统结构32.2客户端登录32.3授权52.3.1获取机器码52.3.2安装授权62.4建模客户端一览62.4.1视图72.4.2菜单92.4.3工具栏16第3章快速入门173.1创建ETL方案183.1.1新建方案183.1.2数据连接193.1.3创建控制流223.1.4新建数据流233.1.5数据流验证293.

2、2方案执行29第4章系统功能304.1方案管理304.1.1ETL方案管理304.1.2数据连接管理324.1.3参数管理454.1.4控制流管理514.1.5方案刷新534.2控制流设计534.2.1工具箱544.2.2基本任务564.2.3常用工具654.2.4Oracle任务774.2.5流程结束任务814.2.6控制流场景举例824.3数据流设计834.3.1工具箱834.3.2输入874.3.3转换1174.3.4业务规则1504.3.5输出1624.4公式体系1794.4.1公式向导1794.4.2语法规则运算符1824.4.3数值函数1834.4.4逻辑函数1844.4.5日期函

3、数1844.4.6字符函数1864.4.7字符串函数1884.4.8二进制函数1894.4.9其他函数1894.5服务器管理1914.5.1计划任务1924.5.2日志管理1954.5.3参数配置1964.5.4修改密码1994.5.5退出系统200第1章概述第1章概述1.1什么是ETLETL是Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。ETL负责将分布的、异构数据源中的数据（如关系数据、平面数据文件等）抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。在企业数据集成、BI系统

4、、数据仓库等项目中，项目成败的关键往往取决于ETL实施的成功与否。ETL技术从产生至今，大概经历了三个阶段的演化：第一代ETL——原始的数据接口阶段这一阶段是企业信息化的早期阶段，业务系统之间的数据交互通常都是以定制开发接口的方式进行，期间产生了一些辅助的代码生成工具，但都需要研发人员参与，且生成的代码或工具只能应用于某一特定平台。在这一阶段项目的实施成本通常较高，产品灵活度不够，难以满足企业逐渐增长的数据集成需求。第二代ETL——ETL引擎形成期随着数据接口开发经验的积累，一些独立的ETL引擎逐渐开始出现，这些引擎归纳和整理了以往开发数据接口的经验，把一些常用的数据提取和清洗方式进行抽象，形

5、成了一套相对独立的ETL体系。这一阶段的ETL引擎已经独立于来源和目标的数据平台，简化了实施和维护的工作量，但这一阶段的产品大都专注于记录行内的数据清洗，功能有限；并且由于实现技术简单，对大数据量和高并发的情况支持不足。第三代ETL——企业级ETL技术的成熟期随着近年来各个BI厂商的兴起，对ETL技术的研究也越来越深入，像并行计算、海量数据加载、动态语言、数据缓冲等技术相继引入到ETL产品中，同时也提出了从E-TL模式向E-LT模式的转变，结合数据仓库自身进行优化处理，极大的提高了ETL产品的处理能力。ETL技术发展到这一阶段，才真正达到了产品的成熟期。1第1章概述1.1名词定义lETL：Ex

6、traction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。l控制流：将ETL数据处理过程分解为多个独立的执行过程，对这些过程进行调度和管理，并处理过程间的依赖和先后关系，是一个简化的工作流模型。l数据流任务：简称为数据流，是一种特殊的任务类型，能够独立完成一次数据的提取、清洗、转化和加载过程，实现数据的流转控制，是ETL的核心功能之一。数据流由输入适配器、转换适配器、输出适配器和数据

7、路径构成。l数据清洗：DataCleaning，对数据仓库系统无用的或者不符合数据格式规范的数据称之为脏数据。清洗的过程就是清除非法数据的过程。数据清洗是一个减少错误、不一致性和解决对象识别的过程。l任务：任务是控制流构成的基本单位，是一个可以独立执行的数据提取过程，能够完成数据的整理、准备、提取等操作。l适配器：在ETL中能够处理一定业务规则的功能元件，主要作用是接口转换器。适配器是封装了一定业