基于HDFS的海量指纹数据云存储优化研究-论文.pdf

《基于HDFS的海量指纹数据云存储优化研究-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第203185卷年第52月期Joumal浙of江Zh师ej范ian大g学No学rm报al(U自niv然er科sit学y(版Na)t．Sci．)Vo[．38，No．2May2015DOI：10．16218／j．issn．1001O51．2015．02．010基于HDFS的海量指纹数据云存储优化研究张宇翔，赵建民，朱信忠，徐慧英(浙江师范大学数理与信息工程学院，浙江金华321004)摘要：HDFS设计之初只考虑到如何更好地处理大文件，并没有针对海量小文件进行优化，因此，当使用HDFS管理海量指纹数据小文件时会出现Name

2、Node内存负载过重、上传及查询性能过低等问题．采用SequenceFile序列化技术进行小文件的合并，并且对于小文件合并、元数据存储、缓存策略等进行了针对性优化．实验证明，该优化方案可以有效地解决NameNode内存负载过重的问题，并且海量指纹数据小文件的上传和查询性能得到了提高．关键词：HDFS；小文件；SequenceFile；文件合并；元数据存储；缓存策略中图分类号：TP391．4文献标识码：A文章编号：1001-5051(2015)02-0179-06HDFS-basedstorageresearchfor

3、massfingerprintdataZHANGYuxiang-ZHAOJianmin，ZHUXinzhong-XUHuiyingICollege"ofMathematics-PhysicsandInformationEngineering。ZhejiangNormalUnivers：-JinhuaZhejiang321004。China)Abstract：WhendesignedtheHDFS。itwasusuallyonlyconsideredhowtohandlelargefilesbetter，andHDFS

4、wasnotoptimizedformassivesmallfiles．WhenusedHDFStomanagemassivesmallfilessuchasfin—gerprintdatafilesthereweresomedificulties．Forexample，overloadingoftheNameNodeandtheperform—ancesofuploadandquerywerenotsatisfied．TheserializationtechnologynamedSequenceFiletomerg

5、esmallfileswasusedandsometargetedoptimizationaboutthemergingofsmallfiles，thestorageofmetadataandthecachingstrategieswereconsidered．ExperimentalresultsshowedthattheproposedschemecouldeffectivelydealwiththeproblemofNameNodememorySoverloading．Theuploadandqueryperf

6、ormancesaboutmassivesmallfliessucnasfingerprintdatafileswerealsoimproved．Keywords：HDFS；smallfiles；SequenceFile；mergingoffiles；metadatastorage；cachingstrategies的13交易额就突破了350亿元人民币⋯．随之而0引言来的问题是如何更好地保障网上交易的安全性．近年来电子商务的飞速发展使得网上的交易相对于传统的密码方式，有学者提出了使用每个量日渐增大，例如在2013年的

7、“双十一”中，淘宝人唯一的指纹信息来保证交易的安全性．采用收文日期：2014-04-16；修订日期：2014-09．12基金项目：国家自然科学基金资助项目(6127268)作者简介：张宇翔(1989一)，男，河南安阳人，硕士研究生．研究方向：云计算；虚拟现实技术180浙江师范大学学报(自然科学版)2015年指纹识别技术保证网上交易的安全性，首先要解但是，实际应用中仅仅采用SequenceFile技术并决的问题就是海量指纹数据的存储问题．最近出不能达到理想的效果，需要按照实际情况具体问现的云存储技术为我们提供了一种新的

8、解决思题具体分析．路．云存储系统有很多种，例如GFS，HDFS，1指纹数据存储优化方案设计MooseFS，Haystack，TFS等．其中，HDFS已经比较成熟，而且是一款开源软件．因此，本文决定采用本文针对指纹数据小文件存储问题提出了一HDFS进行指纹数据的存储管理．HDFS(Hadoop种优化方案．由于本文方案中指纹数据一般是一Distri