数字图书馆中海量异构数据存储组织研究.pdf

《数字图书馆中海量异构数据存储组织研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2014.16科技论坛数字图书馆中海量异构数据存储组织研究刘乐（陕西职业技术学院,陕西西安,710054）摘要：在大数据时代，图书馆工作中最为重要的问题就是数据的存储以及存取。图书馆数字化的管理方式也提升了资料的数据容量，数字图书馆也面临着更高的存储要求。关键词：数字图书馆；大数据；存储；应用ResearchonmassiveheterogeneousdatastorageinDigitalLibraryLiuLe(ShaanxiVocationalandTechnicalCollege,Xi'an,Shaanxi,710054)Abstract：Intheage

2、ofbigdata,animportantproblemisthedatastorageandaccesstothelibrarywork.Managementmodeofdigitallibraryalsoincreaseddatacapacity,digitallibraryisfacinghigherstoragerequirements.Keywords：digitallibrary;datastorage;application0引言书馆当中，对图书本身的数据管理以及对数字化的图书资料进行管理和存储，二者是数据量最大的部分，尤其是一些大型图书馆，图书馆与

3、其他行业相比，在数据存储上有着较大的不同，主资源种类齐全，并且借阅量较大，内容齐全，设备种类多样，这就要体现在图书馆的数据量非常庞大，数据存储的时间较长，并且增加了数据结构以及数据量。图书馆需要面对的数据量随着时间数据具有多种类型，对数据存储的安全性要求较高。随着图书馆的推移呈现出线性增长的趋势，并且由于图书馆中各种各样的服信息化程度不断提高，数据存储系统也面临着更高的要求，要能务设备也越来越多，信息化程度越来越高，同时图书馆对图书和够实现系统的自动精简配置、数据的压缩以及删除重复数据等技读者的管理也更加规范，另外读者对图书馆中的数字资源需求不术，只有这样才能够管

4、理好海量的数据。断加深，都导致了图书馆数据量增长速度越来越快。目前，我国大1数字图书馆概念型图书馆的数据增长量已经达到了最高30TB每年。面对如此巨所谓数字图书馆，也可以称为一种系统，它属于信息检索系大的数据，而图书馆的储存容量一般为100TB，相当于图书馆的统。数字图书馆就是把传统的资源经过数字化之后进行存储，用数据储存空间能够满足几年的使用需要，所以必须采取针对性的户能够通过图书馆的终端设备或者通过互联网对数字化的资源措施。并且使用碎片整理技术，不能够有效地挖掘出未使用的空进行浏览。当今时代早已成为信息化的时代，所以，世界各国都在间，所以该技术只适用于小型图书

5、馆。建立数字图书馆，企图通过数字图书馆来促进国民教育，提高国3数字图书馆海量异构数据存储问题解决办法民的综合素质。随着信息化的不断发展，对数字图书馆的研究也3.1利用分布式文件管理系统，有效利用空间在最近几年越来越多，包括了数字资源的加工、存储等一系列过在海量资源面前，要想存储全部数据必然需要大规模的服程。务器，这也是近年来比较流行的一种方法。目前国外比较流行的2数字图书馆大数据存储组织中存在的问题方法是构建分布式文件系统，这也是许多大型公司采取的方法。现代图书馆的结构非常复杂，其中不仅需要对图书馆读者的比较著名的有谷歌的GFS系统，雅虎的HDFS系统，以及亚马逊

6、的信息数据进行存储，比如读者的图书借阅信息和出入信息等，还Dymamo。谷歌采用的GFS系统属于可扩展的分布式文件系统，主需要将图书资料进行数字化的处理，同时进行存储和管理。在图要应用于对大数据量的信息进行访问。而且该系统能够在普通硬119科技论坛2014.16件上使用，花费较低，所以应用于大型数字图书馆具有可操作性。3.3提升存储空间的利用率GFS的系统机构比较简单，包括了一台主机和多个服务模块。数当前，数字图书馆对电子数据的存储方法只要是要求电子图据在GFS文件系统当中会被分割为大小相同的多个模块，在不同书商家进行数据备份，但是采用这种方法进行数据存储，显然效

7、的模块服务区上进行存储，每个模块都有多个备份。而主机只需率较低。为了能够将数据存储的效率大幅提升，最好的途径就是要对元数据进行维护即可，比如文件的目录以及模块的相对位置使用重复数据删除技术以及数据压缩技术。目前可以采取Delta等，同时要管理模块服务区。当对内容资源进行访问时，首先在客技术，该技术能够对文件夹内部以及文件夹之间的数据信息进行户端通过主机获取元数据信息，然后通过元数据获得所需数据在对比，将其中的多余数据删除，压缩数据，当数据相似度越高时，文件中的具体位置，向模块服务区发出命令，将目标文件的数据压缩比就越小。其次还可以通过消重技术来增加空间利用率。由展

8、现出来。H