海量数据存储管理技术研究.pdf

《海量数据存储管理技术研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2第01312拳年第10月期MICR微OCO计MPU’I’ER机APP应LICI’I—ONSVo1．302etN．2o．0101海量数据存储管理技术研究刘阳成周俭谢玉波(华北计算技术研究所地理信息与数据库研究室北京100083)摘要：海量数据存储管理在各行业的信息化过程中越来越重要，受到了广泛的关注。综述了海量存储管理技术的研究及应用现状，介绍了一些关键技术，包括数据存储架构，分级存储，数据自动化归档，业务流程控制，并发设计，数据服务等，最后，结合当前海量数据存储管理技术，指出了海量数据存储管理面临的一些新的发展方向。关键词：海量数据存储管理分级存储业务自动化并发设计数据服

2、务MassDataStorageManagementTechnologyResearchLIUYangcheng，ZHOUJian，XIEYubo(DepartmentofGIS&DB，NorthChinaInstitudeofComputingTechnology，Beijing，100083，China)Abstract：Massdatastoragemanagementbecomesmoreandmoreimportantinprocessofmanyareas．Keytechniquesaboutthisinclu—dingstoragestructure，hier

3、archicalstorage，autoimport，processcontrol，concurrentdesignanddataservicewerestated．Last，eombi-ningpresentdevelopmentofmassdatastorageandmanagement，itpointedoutsomenewdirectionofit．Keywords：massdata，storagemanagement，hierarchicalstorage，businessautomation，concurrentdesign，dataservice海量存储管理技

4、术得到了越来越多的关注和应用。随着各行各业信息化程度的提高，企业数据急剧膨胀，尤其是近年来卫星遥感技术的发展，海量数据存储管理在国民经济中应用的越来越广泛。结合近年来从事的海量数据存储管理研究及实际项目研发，谈谈海量存储管理的若干技术。1存储技术发展海量信息存储早期采用大型服务器存储，基本都是以服务器为中心的处理模式，使用直连存储(DirectAttachedStorage)，存储设备(包括磁盘阵列，磁带库，光盘库等)作为服务器的外设使用。随着网络技术的发展，服务器之间交换数据或向磁盘库等存储设备备份数据时，开始通过局域网进行，这主要依赖网络附加存储(NetworkAtta

5、chedStorage)技术来实现网络存储。NAS实际上使用TCP／IP协议的以太网文件服务器，它安装优化的文件系统和瘦操作系统(弱化计算功能，增强数据的安全管理)。NAS将存储设备从服务器的后端移到通信网络上来，具有成本低、易安装、易管理、有效利用原有存储设备等优点，但这将占用大量的网络开销，严重影响网络的整体性能。为了能够共享大容量，高速度存储设备，并且不占用局域网资源的海量信息传输和备份，就需要专用存储区域网络(StorageAreaNetwork)来实现。目前海量存储系统大多采用SAN存储架构的文件共享系统，所有服务器(客户端)都以光纤通道(FibreChannel

6、，简称Fc)直接访问盘阵上的共享文件系统(如图l所示)。数据在存储上是共享的，数据在任何一台服务器(客户端)上都可以直接通过Fc链路进行访问，无需考虑服务器(客户端)的操作系统平台，存储区本文于2011—07—26收到。微计算机应用2011拄域网络(SAN)避免了对传统LAN带宽的依赖和影响。SAN存储架构可以方便的通过扩展盘阵数量以达到扩展存储容量的目的，且不影响数据共享效率。光纤盘阵普通盘阵磁带库图1存储区域网络结构示意图2分级存储技术分级存储是当今存储策略中最有影响力的方案，它的主要意图在于在几乎不降低效率的同时，极大的降低存储成本，是最具性价比的存储策略。分级存储又

7、称为数据生命周期管理，它的理论依据是数据的价值随时间的推移而变化(一般是降低)，并借鉴了计算机系统结构设计的缓存／主存／硬盘的设计原理。通常采用分级存储(也称为分层存储)技术，将价值最大的数据保存在等级最高、性能最好的存储资源上，以保证高性能、高可靠性，通常这部分数据在所有存储量中占的比例相对较小，但应用频繁，所要求的访问实时性也较高；而对应用不太频繁的数据，可以存储在相对廉价的存储资源上。根据需要可划分为两级、三级存储，目前应用较多的三级存储：在线、近线、离线。在线设备一般采用性能较高的高端盘阵(例如光纤盘阵)，