基于hadoop影视碎片云存储的设计与实现

《基于hadoop影视碎片云存储的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据山东大学硕士学位论文HDFSvideofragmentstorage，Idesignfileindexandmulti-threadparallelprocesstechniquetoimprovedelayingandthroughoutofvideofilesystems．Intheend，thesetheoriesareverifiedbyspecificprojectexamplesandthethesisreachesthefinalconcludionfromexperimentaldata

2、．KeyWord：CloundComputingHadoopHDFSVideoFragmentIndexFragmentationMulti·threadIII万方数据山东大学硕士学位论文1．1研究背景及意义第1章绪论近年来，随着计算机技术的高速发展、互联带宽的提高、网络用户的增加、以及数码产品的普及，互联网视频点播应用、视频共享应用等以星火燎原之势大规模发展。国内外著名视频网站如Youtube、Hulu、优酷土豆等在大环境下应用而生。CNNIC最近发布网民网络视频研究数据，据统计数据显示，截至2013年12月

3、，我国视频用户数量为4．28亿，占网民总数的69．3％。视频用户规模还在不断的增长。基于以上情况，视频服务已向多终端快速发展，视频数据己达到海量，而且数据量每日还在剧增。面对多终端的视频服务，当前视频服务为提高视频服务于用户体验，新的视频技术己将原有视频文件拆分为视频碎片，更有甚者，视频碎片片段都会抽取关键帧生成缩略图。这样一部视频文件加工后，最终将有多个视频碎片以及图片构成。大型的视频服务网站将会有海量的视频文件碎片构成。这种视频文件根据原始码率不同大约集中在500K到2M之间，数量巨多。传统的文件系统处理起

4、来很是吃力，很多网站在存储与检索的过程中都遇到了这样的问题：磁盘10过高，备份困难，单点问题，容量和读写无法水平扩展，还存在高几率硬件故障的可能。因此，面对海量视频碎片文件存储，我们需要构建一个扩展性好的、高容灾的、易于维护的、高吞吐的、共享能力强的存储方案来解决海量影视碎片处理的问题。计算机文件系统的发展起始于上个世纪60年代，先后经历了单机文件系统、网络文件系统、并行文件系统到现在的分布式文件系统。计算机也从上个世纪40年代的电子管数字计算机发展到至今的大规模集成电路数字计算机。然而，当前海量数据的爆发增长

5、与硬件的发展始终是显得矛盾突出。网络的发展，网速的再度提升，这已超过硬件的存储与传输速度。因此，网络的、分布式的文件存储方案越来越受到人们的青睐。云计算在海量数据的存储于快速计算的需求中应用而生，云计算是将计算移动至大量的分布式计算机集群上，通过分布式集群并发协作完成对海量数据高效存储与计算。万方数据山东大学硕士学位论文云计算普遍特点如下：1．超大规模云计算具有相当的规模．Google云计算集群由100多万台服务器构成，微软、Amazon、IBM、Yahoo等云集群均超过十万台服务器。即便是企业私有云也有数百上

6、千台服务器构成。2．虚拟化应用用户只需通过网络便可以在任何地方获取自己想要的数据服务。3．高可靠性“云”使用了数据多副本容错，并且多计算几点同构互备，即便云集群中某台甚至某几台服务器故障停止了运行也不会影响正常的数据服务于计算。4．通用性一云计算并不是针对特定的应用而产生，实际上，云计算是一个通用的平台，你可以在“云”的支撑下完成各种不同的项目应用，无论是存储、还是计算。5．高可扩展性“云”的规模的大小可以根据实际的应用和数据增长的速度任意伸缩。6．极其廉价云的硬件构成已经无需高配置的服务器才能胜任，当前云的构

7、成只需要配置一般的服务器甚至是普通pc都可完成。因此，云计算成本低廉。1．2国内外研究现状相较于其他行业，媒体与影视行业在很久之前就需要每天对大数据进行管理。在过去十年中，媒体与影视行业已把音频和视频采集、制作、播放以及存档等多项工作转化为数字媒体格式以支持现在的广播技术。这不但包括新的内容，还包括对以前影视内容的转化，以防止其内容损坏或丢失。随着电影以及后期制作公司、广播电视台、视频流媒体服务供应商、博彩公司以及网络媒体供应商等相关领域中的参与者持续不断地创造、编辑、转码和传播各种内容，媒体与影视行业数字内容

8、的爆炸性增长已成为一个全球性现象。最近的ESG报告显示，相较于其他行业24％的数据年增长率，媒体与影视行业数据的年增长幅度为31％。平万方数据山东大学硕士学位论文均而言，该领域中的企业需要将整体IT预算的30％用于数据存储，这一比例也远高于其他行业。随着媒体音频、视频等内容体积不断的增长，媒体行业需要能够提供超大容量和优越性能的存储解决方案。举个例子，需要原有的6倍容量才能将一个标清视