基于hadoop的知识管理系统设计与实现

《基于hadoop的知识管理系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Hadoop的知识管理系统设计与实现重庆大学硕士学位论文（学术学位）学生姓名：李波指导教师：石为人教授专业：控制科学与工程学科门类：工学重庆大学自动化学院二O一四年四月DesignandImplementationofKnowledgeManagementSystemBasedonHadoopAThesisSubmittedtoChongqingUniversityinPartialFulfillmentoftheRequirementfortheMaster’sDegreeofEngineeringByLIBOSupervisedbyProf.ShiWeirenSpecial

2、ty:ControlScienceandEngineeringCollegeofAutomationofChongqingUniversity,Chongqing,ChinaApril2014中文摘要摘要科研院所在长期的科研工作中，积累了大量丰富的宝贵数据、资料和经验知识。有效地收集、管理、加工和利用这些知识，是科研院所增强科研人员互相的知识渗透与融合，提升原始创新和集成创新能力的有力措施，急需建立知识管理信息服务平台，为科研院所带来更好的发展机遇。Hadoop分布式计算平台随着云计算技术而出现，为科研院所解决以上难题提供了可行的途径。运用Hadoop平台存储知识文档可以提升科研院

3、所文档存储与数据计算能力。针对中国工程物理研究院面临的信息资料内容庞大、文件类型繁多；信息或知识查找和获取成本高；缺少有效的知识管理工具等问题，本文为了解决科研知识文档的大容量存储与处理，设计研发了基于Hadoop的知识管理系统。在深入学习、研究HDFS文件系统和MapReduce并行计算框架的基础上，选择以HDFS分布式文件系统作为知识管理系统的底层文件系统，MapReduce编程框架作为文档数据处理工具。重点分析研究了Hadoop平台的HDFS分布式文件系统体系结构、存储原理，MapReduce编程模型的体系结构和实现方法，Lucene全文检索框架的系统构成及SSH分层架构模型

4、。基于知识文档数据处理特点，全文检索基本原理、日志分析工作机制及个性化文档推荐算法的分析与研究，提出了系统的优化和改进措施。并对基于Hadoop的知识管理系统进行了设计，主要包括系统的业务架构、逻辑架构、数据架构和部署架构，以及全文检索、日志分析和个性化文档推荐等三大功能模块；采用分页Bean和数据持久类技术，完成了系统的分页显示、数据库访问等常用功能的设计与实现。最后，通过构建的软硬件环境，Hadoop集群和源代码编写，完成了系统的三大功能模块的研发。通过功能模块的测试，验证了系统的可行性和可靠性，数据容错性好、安全、稳定。关键词：知识管理，Hadoop，HDFS，MapRedu

5、ce，文档数据I重庆大学硕士学位论文II英文摘要ABSTRACTResearchinstitutesaccumulatedarichsetofvaluabledata,informationandknowledgeinthelong-termscientificresearch.It’sapowerfulmeasuretoacceleratethepervasionandintegrationofthemutualknowledgebetweenreasearchersandenhancetheoriginalinnovationandintegratedinnovationbyc

6、ollecting,managing,processingandusingtheseknowledgeeffictivelly.ItisbadlyinneedofdevelopingainformationserviceplatformofknowledgemanagementtobringbetterdevelopmentopportunitiesforResearchinstitutes.Hadoopdistributedcomputingplatformappearedwiththeemergenceofcloudcomputingtechnology.Afeasiblewa

7、yisprovidedtosolvetheproblemsaboveforresearchinstitutes.ThestoragecapacityandcomputingpowerofresearchinstitutescanbepromotedbyapplyingHadooptoknowledgedocumentstorage.ChinaAcademyofEngineeringPhysicsarefacinghugeinformationdatacontent,t