基于hadoop的视频转码优化的研究

《基于hadoop的视频转码优化的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：ＴＰ３９３单位代码：１０１８３；研究生学号：２０１３日３２０１３密级公开ｍ古林大学硕古学位论文與长掌化（）基于Ｈａｄｏｏｐ的视频转码优化的研究－ｍｚａｉｏｎＳｔｕｄｙｏｆＨａｄｏｏｐｂａｓｅｄＶｉｄｅｏＴｒａｎｓｃｏｄｉｎｇＯｐｔｉｉｔ作者姓名：宋扬专业：计算机系统结构研究方向：云计算指导教师：于秀峰副教授培养单位：计算机科学与技术学院２０１６年４月未经本论文作者的书面授权，依法收存巧保管本论文书面版本、电子版本的任何单位和个人，巧不得对本论文的全部或部分内容进行任何形式的复制、修改、

2、发行、出租、改编等有碍作者著作权的商业性使用（但纯学术性使用不在此限）。否则，应承担侵权的法律责任。吉林大学博±－上（或硕）学位论文原创性声明本人郑重声明：所呈交学位论文，是本人在指导教帅的指导下，独立进行研究ＩＴ作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成巧。对本文的研究做出重要贡献的个人和集体，均已在文中ＵＡ明确方式惊明。本人完全意识到本声明的法律结果由本人承祖。、学位论文作者签名：Ｈ期：之节＾年广月曰／吟基于Hadoop的视频转码优化的研究StudyofHadoop-

3、basedVideoTranscodingOptimization作者姓名：宋扬专业名称：计算机系统结构指导教师：于秀峰副教授学位类别：工学硕士答辩日期：ϮϬϭϲ年ϱ月Ϯϰ日摘要摘要基于Hadoop的视频转码优化的研究在“互联网+”的大潮推动下，人们对视频的转码速度和质量等多方面需求日益增长。在2015年度的网络流量年报总结中可以看出，有关视频的流量成为了人们生活中消耗最大，占比例最大的一种。目前无论是工业界还是学术界，如何解决视频转码处理高效、高质量、高可用的“三高”问题，成为了研究的重点和核心。为此本文开展了视频转码的优化研究。本文采用云计算技术对视频进行转码，使用云环

4、境达到并行计算，完成高效和高可用，力求转码前后质量不会发生巨大偏差。本文设计了一个视频转码云平台。该平台采用典型的三层结构:IaaS选用的是Amazon基础设施云；PaaS选用的是Hadoop；SaaS中运行的是高性能的视频转码应用。本文提出了采用将FFMPEG和MapReduce技术融合实现视频转码优化策略。文中创新性地提出了S_MapReduce结构并在S_MapReduce中引入虚拟IP机制来提高可扩展性和改变了MapReduce架构的不可跨域等多个问题；设计了心跳包流程并改进了负载均衡模块，使整个架构能高效、稳定的进行任务处理；对MapReduce的工作流和数据流进

5、行修改和优化，提高计算架构的效率。视频转码优化是基于云平台，将FFMPEG和S_MapReduce融合，实现分布式转码。主要工作包括：（1）根据固定场景和多个限定条件，将累赘的部分删除掉，为FFMPEG进行了合理化的瘦身。完成了针对于S_MapReduce的NALU设计，提出了防竞争机制，避免出现竞争和顶替错误（2）设计了APU格式来配合MapReduce进行分块处理，并优化了解码流程，提高了效率。（3）设计了二次校验算法并保证了数据的完整性和有序性。实验环境使用了19个节点来建设转码云，在实验数据方面采用多层次、多维度，这样保证了实验的全面性和严谨性。本文中实验主要是对视

6、频转码效果和视频质量进行测试。通过实验可以得知在效率方面比未修改的FFMPEG方法有显著提高，而随着数据量的增加本文方案效率的提升也逐渐加快。对比多点和单点架构可以得出结论，当单个文件大小是10GB时本文方案的效率提升可以达到对照方案的16.4倍。关键词：视频转码，虚拟IP，FFMPEG，Hadoop,MapReduceIAbstractAbstractStudyofHadoop-basedVideoTranscodingOptimizationUndercircumstancesof“InternetPlus”,peoplehavethegrowingdemandforv

7、ideotranscodingwhichwithhigherspeedandqualitythanbefore.Basedonthereportof2015AnnualSummaryforNetworkTraffic,videocreatedthelargestproportionofthetotalnetworktrafficconsumption.Fornow,bothindustryandacademicworldareconcentratingonhowtotranscodevideoefficiently