海量数据存储方式论文

《海量数据存储方式论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、海量数据存储方式论文53090119陈建华计算机科学与技术管理信息系统(MIS)/企业资源计划(ERP)最大的特点和优点是数据积累。数据的积累不仅是对业务活动过程的记录，及时反映业务经营状况，还能从中归纳出有规律的信息，对以后的业务活动起到很好的指导作用，并且能够规范经营管理活动，提升管理水平。然而，随着数据的积累，数据表(Table)和数据库(DataBase)变得日渐庞大。数据访问时，随着检索范围加大，查询效率会显著降低，因此系统处理和响应的速度越来越慢。当系统响应慢到一定程度时，数据处理的

2、时效性就不能满足要求，甚至导致数据丢失。同时，用户也将失去等待的耐心而逐步放弃使用系统，使系统失去存在的意义。因此，对信息管理系统来说，随着使用时间的增长，如何保证系统响应速度保持在用户可以接受的范围内，是MIS系统设计开发中普遍面临的技术难题。　　当前，很多管理信息系统开发者为了回避这个技术难题，普遍要求使用单位配置硬件层面上数据存取能力极强的小型机。这样一来，使用单位将要增加几十万乃至几百万元的初始硬件投资，而且配套的软件平台投资和后继的培训、使用、维护成本也将大大增加。本文根据作者多年管理

3、信息系统开发的研究和实践经验，提出一种应用PC服务器实现海量数据存取的方法，通过改进和优化数据的存取解决海量数据存取的技术难题，为信息系统使用单位节约投资和维护成本。　　1、数据处理环境　　数据处理环境为某大型商厦的企业资源计划管理系统，该系统有近300个使用站点，每年的业务数据量约2G。该企业资源计划管理系统采用HPLH6000PC服务器(双PIIl550Intel至强CPU、1G内存、Raid5磁盘阵列)，网络操作系统采用WINNT4．0，数据库管理软件采用MicrosoftSQLServe

4、r2000。　　2、PC服务器实现海量数据存取的方法　　PC服务器实现海量数据存取的方法主要包括数据分类、数据分割、数据处理算法和数据访问4个部分。　　2.1数据分类　　为了减少数据的冗余，防止存储异常。提高处理速度，在开发过程中，针对各类管理对象都进行编号处理，并保存在不同的“对象定义表”中。同类对象放在同一个定义表中，编号不重复，并用不同的字段定义管理对象的属性。记录和加工业务数据时，只处理对象编号和业务数据，把结果放在不同的“业务数据表”中。在进行数据检索和存取时，通过数据视图(VIEW)

5、或直接进行“对象定义表”和“业务数据表”的联接。根据业务数据被加工汇总的程度，又进一步把“业务数据表”划分为不同的“原始业务数据表”、“按日汇总业务数据表”、“按月汇总业务数据表”。经过记录和加工的业务数据，有部分是用来指导和规范业务活动的，把这部分数据分别存放在不同的“业务管理表”中。数据分类结构如图1所示。　　2.2数据分割　　在使用系统过程中，用户最关心的数据是当月的业务数据，其次是当年的业务数据，再次是往年的业务数据。查询业务数据的频率从高到低排列，依次为当月、当年、往年，而且查询的时间

6、段极少跨年度。根据这个规律，在数据库设计中，把“业务数据表”按年度分割存放，每年的“业务数据表”放在一个数据库(“年度数据库”)中，同时对当月的“业务数据表”另外放在一个数据库(“当前数据库”)中，这就保证了每个数据库和每个表的内容不会无限增长。　　“对象定义表”中的各个字段值具有相对稳定的特点，因此也把它们按年度来保存。每个“年度数据库”中保存一份对应的“对象定义表”，当年的“对象定义表”保存在“当前数据库”中。　　“业务管理表”存放的是一些规则和规律，数据量不大，但是要求被查询时能迅速返回结

7、果，而且这些规则和规律只对正在发生和将来发生的业务起作用，因此把它们放在“当前数据库”中。数据分割存放结构如图2所示。　　2.3数据加工和保存　　在实际的数据访问中，作业层工作人员最关注原始数据和流水清单数据，而管理层和决策层人员最关注按日或按月汇总的业务数据报表。大部分用于管理和指导的数据也是要求按日或按月汇总。因此，很多数据不是需要使用时才从原始数据来直接汇总加工，而是可以采用“以空间换时间”的原则，在适当的时间，事先进行数据的按日或按月汇总，生成对应的汇总数据表。利用这种规律，在受理作业层

8、工作人员对原始数据和流水清单的要求时，可以直接从“原始业务数据表”中访问检索；同时，在受理管理层和决策层人员的业务数据报表要求时，避免了对大量原始数据的直接访问检索和加工汇总，可以针对性地从“按日汇总业务数据表”或“按月汇总业务数据表”中的少量数据中检索汇总，这样大大地提高了系统响应的速度和效率。　　具体的数据处理算法如下：每天新增的管理对象和对管理对象的修改直接保存在“当前数据库”的各个“对象定义表”中。在每日规定的结算时间或业务活动结束后，进行每日数据结算。对原始业务数据进行加工整理，生成各