可定制数据采集技术的研究和实现-论文.pdf

《可定制数据采集技术的研究和实现-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、开发案例／／——．——．．．．——．．．．—，—．。．．．———．．．，．——．。．．—文章编号：1007—1423(2014)25～0067—03DOI：10．39696．issn．1007—1423．2014．25．018可定制数据采集技术的研究和实现高瑞明．刘旭丽(1．中国电子科技集团公司第十五研究所，北京100083；2．北京师范大学亚太实验学校，北京102209)摘要：总结传统数据采集软件的设计方法和存在的弊端．分析研究不同数据采集任务的异同，提出可定制化的数据采集技术，并对页面设计、模型配置、页

2、面生成、库表建立等进行设计和实现，改变传统的数据采集软件研制模式，提高数据采集工作效率关键词：定制化；页面设计；模型配置；数据采集0引言前台页面脚本、后台数据增加、修改、删除、查询、列表展示等数据采集软件相关处理代码．进行软件测试、修随着信息技术的发展．政府部门开展信息普查、专改．直至测试合格，达到软件部署发布要求；技术人员项活动等．需要研制采集软件，面向特定用户群体，快部署数据采集软件．为采集用户分配数据采集权限，进速收集数据．为专项工作开展、领导决策支持提供支行具体的数据内容采集该方法是采用常规的信息化

3、撑。通常。数据采集任务往往时间短、工作量大，而数据系统建设方法．进行数据的采集工作。对于每个采集任采集录入软件的研制工作占数据采集工作时问比重较务．由于采集数据项内容不同．均需要重复上述三个步大．数据采集人员和软件技术人员均面临着较大压力。骤完成数据采集软件设计并且，随着采集任务的不断本文提出的可定制数据采集技术，能够针对不同的数增加．数据采集软件研制的重复性工作就越多，成本会据采集任务．快速地生成相应数据采集软件，改变了传不断增加．采集效率低下统的数据采集软件研制模式．在很大程度上减少了软件设计和研制时间

4、．缓解了数据采集任务压力，提高了2可定制化采集技术研究数据采集工作效率传统数据采集软件设计方法．从数据模型设计建1传统数据采集软件设计方法库、代码开发和部署发布各步骤可以看出，每个采集软件实现时．均依照对应的采集规范说明．采集数据项内数据采集．即数据采集录入，指在规定的时问周期容、校验规则等有所不同．其他方面，如数据添加、维护内．根据采集任务规范说明，组织特定的用户群体，通和查询展示功能要求基本相同。从软件优化设计方面过数据采集录入软件．进行相关专项数据内容的采集考虑．可以将采集变化的数据项等内容进行定制化

5、配和录入工作．采集的数据统一存储至数据库。本文数据置．采集不变的数据库生成等部分进行软编码实现，两采集不同于从已有数据源进行数据的抽取采集工作者结合实现数据的定制化采集。通过对数据采集软件传统的数据采集软件设计方法主要包括以下三个设计过程分析。运用软件设计模式和框架设计思想，可步骤：根据用户提供的采集任务规范和说明文档，分析定制化数据采集软件的设计流程如图1所示。采集业务逻辑．设计采集数据模型．建立生成物理数据库：按照确定的采集数据项，开发数据采集页面，编写现代计算机2014．o9上@＼开发案例＼、、、、、

6、——————————————————————————————————————————————一————————————或中文、是否查询项、是否设定权限标识、权限标识码等。除对模型的详细配置外，提供模型之间关系配置，如1：1、l：N、单独页面或集成页面采集、页面展示顺序等1：1关系采用直接展示详细子页面元素：1：N采用列表方式展示子页面元素，通过详细操作再查询、维护详细数据内容在定制化数据采集技术运用中．元模型可以在多个采集任务复用．详细配置后的元模型和数据库物理图1定制化数据采集设计流程图表一一对应。引入元

7、模型，简化了数据采集集合定义，屏蔽了对数据项的重复组合操作。可定制数据采集软件，通过页面设计、元模型设3．3页面生成及建库计、模型及关系配置、生成页面和建库、采集权限配置基于配置的采集数据元模型．解析模型设计及关和发布等步骤．实现了数据采集的定制化软件实现系配置规则．利用模板技术，生成包括添加、更新和查后．利用一套数据采集软件．业务人员可根据采集规询展示列表的三种JSP数据采集页面．如生成的JSP范，进行不同采集任务的配置、发布，通过简洁的配置页面没有特殊效果要求，即可部署使用。同时，利用元步骤，实现数据采

8、集软件的快速发布模型及标准数据元定义．以数据采集任务为单元．生成3J2EE定制化采集技术实现数据库建库SQL语句并执行．创建采集任务所需对应3．1页面设计的物理数据库表数据元定义了采集数据项的名称、类型、长度、是3．4权限配置及发布否字典代码等_l_．是可重用的数据项标准定义库。采用采集页面部署完毕、物理表生成后．在后台统一配Fiex技术．实现所见即所得的页面设计工具[21．用户通置添加数据采集相关的URL资源根