基于Elasticsearch的分布式媒体资源管理系统的设计与实现

《基于Elasticsearch的分布式媒体资源管理系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Elasticsearch的分布式媒体资源管理系统的设计与实现DesignandImplementationofEnterpriseMediaResourceManagementSystemBasedonBSStructure领域：软件工程作者姓名：徐静指导教师：杜修平教授企业导师：马全华高级工程师天津大学软件学院二零一七年十一月万方数据万方数据摘要随着企业和机构的发展，记录信息的形式不仅仅局限于文字，还扩充到图片、视频、音频和多媒体演示等各种形式。在这种背景下，企业对媒体资源管理系统的需求也就越来越迫切。一方面要求对这些海量媒体资源能够达到高可用存储功能，另外一方面有需要

2、从这些海量媒体资源中能够高效、快速的检索资源。基于这些需求，本文设计并实现了基于Elasticsearch的分布式企业媒体资源管理系统。本文在充分调研目前企业媒体资源管理系统的背景和国内外发展后，了解企业媒体资源管理系统的特征和趋势，在这些基础上，本文提出了系统的需求分析和各个功能模块的详细设计，同时对系统的实现和所采用的主要技术进行了描述。本文系统以资源的上传和检索下载为中心，集媒资编目、资源审核发布、权限访问控制和字典管理于一体，将整个资源媒体资源的管理模块化，设计了系统的总体框架，给出了各个模块的主要功能模块，同时给出了数据库表的设计以及Elasticsearch中索引的

3、设计。为了实现海量媒体资源的高可用存储，本文使用分布式文件系统HDFS技术方案实现了大于128M媒体资源的存储；同时为了弥补分布式文件系统HDFS在小文件存储上的不足，以及满足海量小文件的实时读写需求，本文采用列存储数据库Hbase实现小于128M媒体资源的存储。为了实现在海量媒体资源中快速、高效检索，本文采用开源的企业搜索引擎Elasticsearch实现海量媒体资源的快速检索。最后本文详细描述了Elasticsearch的分布式媒体资源管理系统的实现和测试过程，通过对比单台系统和本文的分布式系统的性能，表明了系统的整体功能设计符合需求，保证了系统的良好用户体验和用户数据在本

4、系统上的安全性和系统稳定性。关键词：Elasticsearch，媒体资源管理系统，分布式，HDFSI万方数据ABSTRACTWiththedevelopmentofenterpriseinformatization,moreandmoreinformation,moreandmore,allthetimeinthegenerationandaccumulationofdata,thetypesofinformationresourcesarebecomingincreasinglydiversified,recordedintheformofinformationisnotli

5、mitedtothetext,butalsoextendedtotheimages,videoandaudioandmultimediapresentationsandotherforms.Underthisbackground,thedemandformediaresourcemanagementsystemismoreandmoreurgent.Ontheonehand,itrequireshighlyavailablestorageofmassmediaresources;ontheotherhand,itrequiresefficientandrapidretrieva

6、lofresourcesfrommassmediaresources.Basedontheserequirements,thispaperdesignsandimplementstheenterprisemediaresourcemanagementsystembasedonElasticsearch.Thisresearchpresentsituationanddevelopmentoftheenterprisemediaresourcemanagementsystem,analyzesthecharacteristicsandtrendofenterprisemediare

7、sourcemanagementsystem,basedontherequirementanalysisanddesignthesystemfunctionmodules,anddescribestherealizationofthesystemandtheuseofthemaintechnicalcharacteristics.Thissystemtouploadanddownloadresourcesretrievalcenterinmediainformationcataloging,