基于Hadoop视频转码缓存策略的研究-论文.pdf

《基于Hadoop视频转码缓存策略的研究-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2015年3月计算机工程与设计Mar．2015第36卷第3期COMUTERENGINfEERINGANDDESIGNVoI．36No．3基于Hadoop视频转码缓存策略的研究毕莎莎，陈清华。(1．南京工业大学电子与信息工程学院，江苏南京210009；2．浙江清华长三角研究院，浙江嘉兴314006；3．北京大学软件与微电子学院，北京102600)摘要：针对实时云转码系统中已转码的媒体文件重新使用率不高的情况，引入转码缓存机制，提出一种缓存替换策略。采用云存储空间缓存视频，根据视频资源的流行度、请求间隔

2、、视频大小和未来被访问概率计算视频的效能函数值，当缓存空间不足时替换出效能值较小的视频。实验结果表明，与传统置换算法LRU、uu和FIFO相比，该策略的资源请求命中率分别提高了2．6，4．3和9．2，在一定程度上缩短了视频分发延迟，减少了用户响应时间。关键词：实时转码；缓存机制；替换策略；云存储；效能函数；命中率中图法分类号：TP18文献标识号：A文章编号：1000—7024(2015)03—0683—04doi：10．16208／j．issnl000—7024．2015．03．024Caching

3、strategiesbasedonvideotranscodingusingHadoopBISha-sha。CHENQing-hua，。’。(1．CollegeofElectronicsandInformationEngineering，Nan}ingUniversityofTechnology，Nanjing210009，China；2．YangtzeDeltaRegionInstituteofTsinghuaUniversity，Jiaxing314006，China；3．SchoolofSof

4、twareandMieroelectronics，PekingUniversity，Beiiing102600，China)Abstract：Inreal-tlmecloudtranscodingsystem，thereusedrateoftranscodedresourcesisnothigh．Toaddressthisproblem，thecachingmechanismwasintroducedandacachingstrategywasproposed．Videoswerecachedbyc

5、loudstoragespaceandutili-tyfunctionvaluewascalculatedonthebasisofpopularitiesofvideo，requestinterval，videosize，theprobabilitytobeaccessedinthefuture，etc．VideoswerereplacedinaccordancewithmuchlessutilityvaluewhencachespacewasnotenougkSimulationresultsde

6、monstratethatcomparedwiththetraditionalalgorithms，forexample，LRU，LFUandFIFO，thisstrategyincreasedcachehitrateby2．6，4．3％and9．2respectively．Itcannotonlyshortensthedeliverylatency，butalsoreducesthere—sponsetimetosomecertainextent．Keywords：real-timetransco

7、ding；cachingmechanism；cachingstrategies；cloudstorage；utilityfunction；cachehitrate合理的替换算法来保证视频数据的命中率，减少用户的访0引言问延时。缓存置换算法是用来决定移除一个合适的对象，随着视频转码需求的不断增加，传统的视频转码系统以便为新到来的对象腾出可用空间。文献[3]中分析了已经不能应付数据量大、数目多的转码任务量，因此有必LRU、LFU和FBR算法的优缺点，这些传统的替换算法主要对分布式转码进行研究。云计算技术

8、目前已是IT领域的要应用于大小相等的对象、内存及Web等。文献r4]提研究热点，它的出现对分布式视频转码系统的发展起到了出了一种FT(frequency-time)缓存策略，并在实时云转码很大的推动作用，因而云视频转码系统应运而生。近年来，系统中得以验证：当缓存空间越大时，视频命中率越高。研究人员提出多种基于Hadoop的视频转码系统L1]，虽然文献1-53评估了多种缓存策略，最终发现LFU算法最适可以显著地提高转码效率，但已转码资源的重复使用率不合云转码系统，但LF