file2db配置文件开发手册

《file2db配置文件开发手册》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、File2db使用手册File2db配置文件开发手册宏智科技网管产品事业部2002年4月北京北邮宏智通信技术有限公司第52页共52页File2db使用手册目录1概要介绍31.1读者需要具备的基础31.2参考文档31.3背景31.3.1为什么有file2db工具31.3.2为什么可以有file2db工具51.4入门61.4.1数据源61.4.2数据目的地61.4.3数据抽取过程71.4.4数据抽取结果92File2db开发92.1开发步骤说明92.2文件结构分析102.2.1文件头filehead102.2.2报

2、告REPORTHEAD+BODY+TAIL142.2.3子报告块SUBBLOCK142.3数据抽取定义142.3.1设定变量152.3.2创建原始表152.4编写file2db配置文件162.4.1File2db_Config172.4.2Head172.4.3Target_Database172.4.4globalvariable182.4.5Var182.4.6预定义变量192.4.7filehead（可选）192.4.8filesplit（可选）192.4.9block报告块匹配定义202.4.10lin

3、e匹配表达式212.4.11Filename222.4.12预处理222.4.13Measurement222.4.14Tablename232.4.15sourcevar232.4.16Target_action232.4.17mapping232.4.18Target_stat242.4.19Sourcereport242.4.20Body25北京北邮宏智通信技术有限公司第52页共52页File2db使用手册2.4.21block扫描顺序252.5转换函数和厂商模块292.5.1转换函数292.5.2厂商模

4、块312.6运行和调试方法322.6.1运行环境322.6.2目录结构322.6.3命令行参数332.6.4调试方法343深入file2db开发413.1变量定义413.2format定义423.3block定义423.4高级block属性应用433.4.1multiple433.4.2parallel443.4.3join473.4.4sum483.4.5reset484局限和不足50北京北邮宏智通信技术有限公司第52页共52页File2db使用手册1概要介绍说明：本文主要介绍v2版的配置文件编写。V1版和V

5、2版的区别参见1.1读者需要具备的基础1）正则表达式2）网管系统有关omc_id/task_id的定义和使用3）xml4）perl基本编程1.2参考文档1）《原始表设计原理和规则_v1.0》1.3背景1.3.1为什么有file2db工具在采集系统面对的数据源中，除了数据库外，数据文件以及由人机命令得到的结果文件是一个主要部分。我们在网管系统中面对的是10多家厂商的多种设备，每种设备的数据又分为配置、性能、告警，每类数据又分为多种报告格式，每种报告格式在不同版本下可能是不一样的。毫不夸张地说，我们网管系统处理的各

6、式各样的报告不下100种。这样，如果我们需要分析这些报告，传统的做法是对每个报告编写一段代码，这样造成了极低的效率，第一要求开发人员具有较高的开发水平，第二开发人员不能专注于文件的数据抽取，而需要兼顾程序编写的代码质量风格；第三，每段代码都有其重复之处，例如读取文件、拆分、匹配、数据变换、数据入库、出错处理、写trace等；大量的重复代码一方面不能保证统一的质量水准，一方面造成了维护、升级、交接的困难，也造成了开发周期的延长。而实际上，厂商数据格式随着版本变化而变化，用户抽取数据的需求也随着使用变化而变化，就要

7、求我们对新的数据抽取需求能够快速反应。因此，就需要有这样一个工具，实现数据文件抽取的快速开发。为了从这些异构的原始数据文件中抽取到所需的配置、性能、告警数据并存入数据库中的原始表，同时避免分厂商开发带来的代码重用，摆脱大量繁琐的程序开发，我们设计了数据采集工具file2db。北京北邮宏智通信技术有限公司第52页共52页File2db使用手册作为一个通用的工具，它提取出数据文件处理的共性，而通过与不同厂商相对应的配置文件和厂商模块来描述个性，即不同数据文件的具体结构及数据的具体处理。两者的结合，即完成了从数据文件

8、到原始表的处理过程。这个过程可以说就是一个按规则抽取数据并归一化到关系数据库数据表中。配置文件NokiaAlcatelMotorola原始数据文件File2db.plNokiaAlcatelMotorola供应商模块NokiaAlcatelMotorolaRawdataTable数据库图-1FILE2DB原理图1.1.1为什么可以有file2db工具我们处理的文件报告都是ASCII格式