基于hadoop系统的数字档案资源集成平台构建及实现

《基于hadoop系统的数字档案资源集成平台构建及实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Hadoop系统的数字档案资源集成平台构建及实现摘要：本文针对现有资源平台的不足，结合信息技术的最新发展，引入分布式技术，设计了基于Hadoop系统的数字档案资源整合集成平台模式，并对该模式进行研究。关键词：集成平台服务模式分布式技术目前，国家正在大力推进档案资源网络化，要求充分利用已有的信息传输网络，实现资源共享。［1］传统的数据管理方式易导致信息分散保存、重复保存、收集困难、检索困难、移交困难和协作脱节等问题，不利于档案资源多领域的共享与利用，在这种情况下，亟需改变落后的数据管理方式，提升效率，实

2、现数据的现代化管理。、我国数字档案资源整合集成模式的现状所谓数字档案资源指的是国家数字信息资源的核心资源，包括电子档案、传统载体档案数字化副本、元数据、系统数据以及其他需要长期保存的数字信息等，其具有凭证、记忆、身份认同、社区能力构建等多元价值属性。通过对海量数字档案数据的收集、分析、处理和利用，能够更好地应对社会的发展。既有的档案数字资源如果能够通过某一平台得到整合与集中，那么数字档案资源利用将得到极大的发挥，档案服务民生的作用也将得到进一步体现。可以说，对数字档案资源整合集成模式的研宄，就是提升档案资

3、源服务能力的有效手段。目前，我国有多种数字档案资源整合集成模式。例如，基于档案网站的数字档案资源整合模式、电子政务环境下的档案资源整合与共享模式。此外，还有交互式数字档案服务模式［1］和云计算环境下的档案信息资源整合与服务模式等。［2］代表性案例是湖北省宜都市档案局的档案资源建设与服务联动模式。［3］近年来，湖北省宜都市档案局以“档案服务民生”为联结点，［4］依托档案馆平台及政府门户网站、档案信息网站和农村党员远程教育网站等平台提供民生档案服务，形成档案资源建设与服务联动模式。在档案管理整合层面上，提出基

4、础设施层、数据整合处理层、命I务应用层和公共服务层等四层档案信息资源管理模式，从不同层面上对数字档案管理方式进行整合。在档案资源内容整合层面，通过“支撑云”“业务云”“公共云”三大平台，为云计算平台提供不同层级的档案资源服务。这些模式虽然减少或避免了数字档案资源建设与服务中孤立化、片面化的现象，但是对于海量数据而言，这些模式仍受到一定的制约。、基于Hadoop系统的数字档案资源集成平台的构建及实现Hadoop是一种对大规模数据进行分布式处理的系统,该系统建立在网络空间上，能够即时了解用户对档案资源利用的反

5、馈信息，使用户在一个标准的分布式环境里随时使用所有资源和系统，形成良好的双向互动模式。Hadoop系统作为一个适合大数据的分布式存储和计算的平台，不仅能够将不同来源和格式的分布式异构数据集成在一个平台上，而且能够准确地存储档案数据，避免了检索困难、重复存档和无用存档的现象。特别是该系统极大地弥补了数字档案资源整合集成模式的缺陷。在Hadoop出现之前，高性能计算和网格计算一直是处理大数据问题的主要工具，当它需要访问PB级别的数据时，由于储存设备网络宽带的限制，很多集群计算节点处于闲置状态。针对这种数字档案

6、资源整合与服务过程中存在的不足，Hadoop系统能够将该应用分解成许多小的部分，分配给多台计算机进行处理。通过分布式计算，能够使其在节点之间动态地移动数据，并保证各个节点的动态平衡。同时，采用并行执行机制，将一个应用程序分解为许多并行计算指令，极大地提高了数字档案资源的访问速度。近年来，Hadoop系统已经应用在科研、教育、天气预报分析、数据库搜索、生物技术、智能交通、水火电力、大地测量、数据资源管理与服务等诸多领域。美国加州大学伯克利分校建立的开放式网络计算平台，就能够将不同的分布式计算项目连接起来，对

7、参与这些项目的计算资源进行统一合理分配，扩展了相关科研、教学、综合档案管理等综合数字资源的有效整合。综上，Hadoop系统在理论和实践领域都已经有相当成熟的应用，完全可以为数字档案资源整合集成提供新的思路。基于Hadoop系统的数字档案资源集成平台的构建本文利用Hadoop系统[5][6][7]的方法原理，设计出分布式数据库模型，并将部分成果用于笔者所在单位，以便实现数字档案资源的共享。笔者所在单位各职能部门均有不同的数字资源平台，这些独立平台的数字资源各自为政的现象较为严重，严重限制了资源的共享。例如，

8、档案馆的“琼兰系统”平台，虽然能够较为精确地查询到馆内所有纸质文件和实体档案，但是无法满足海量数据的搜索。党政部门的“电子政务”平台虽然方便了校内局域网电子文档的接收，但是由于没有关键词搜索功能而无法即时同步输送文件。教务部门的“青果系统”平台虽然能够安排课程、统算教师学时数以及报送、分析成绩，但是存储授课和成绩方面的数据资源却非常有限。医学教育研究所的“高校研究项目全程管理”平台，也仅仅能够远程申报网络教学科研课题立项，无法