基于文件系统的测试数据集生成系统的设计与实现

《基于文件系统的测试数据集生成系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、硕士专业学位论文基于文件系统的测试数据集生成系统的设计与实现DesignandImplementationofTestDataGenerationSystemBasedontheFileSystem作者：XXX导师：XXX北京交通大学2021年6月学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。学校可以为存在

2、馆际合作关系的兄弟高校用户提供文献传递服务和交换服务。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日学校代码：10004密级：公开北京交通大学硕士专业学位论文基于文件系统的测试数据集生成系统的设计与实现DesignandImplementationofTestDataGenerationSystemBasedontheFileSystem作者姓名：XXX学号：XXX导师姓名：XXX职称：XXX工程硕士专业领域：软件工程学位级别：硕士北京交通大学2021年6月致谢在论文完成之际，我要感谢

3、这三年来悉数教导过我的老师们和给过我帮助的同学们和朋友们。首先，衷心的感谢我的导师XXX老师，从论文的选题、中期检查到论文的撰写老师都给予了我极大的帮助和指导。同时，XXX老师渊博的专业知识、求实的治学精神、严谨的治学态度以及勤勉的工作作风使我受益匪浅。他高尚的为师品德以及对学生严格的要求和中肯的教诲将使我受益终生。在此，再次向XXX老师表达我内心崇高的敬意和真挚的谢意！同时，向研究生院、软件学院的各位领导、老师表示真诚的谢意！感谢学校的领导为我提供优雅的学习工作环境，感谢各位老师在专业课上的悉心讲授和课后的耐心指导！正是他们真切的关怀和

4、悉心的教导，使我获得丰富的基础理论知识和一定的工程实践经验，为顺利完成毕业设计打下了坚实的基础。我还要感谢研究生班的各位同学，很荣幸能够成为他们的同学和朋友，大家在一起能够互相鼓励，互相帮助，这段学习和生活的经历将成为我一生中极为珍贵的回忆。最后，我要衷心感谢答辩委员会的老师们，感谢他们在百忙之中对我论文的悉心指正。摘要摘要伴随着大数据时代的到来，数据正在以不可估量的速度增长并变大，但是很多企业还没有意识到数据的迅速增长将带来的革命性时代，在不久的未来，谁掌握了数据谁就掌握了未来的发展。大部分数据都是以文件的形式存储在磁盘中，企业要掌握自

5、己未来的发展，就要对文件数据特性进行研究。然而目前针对文件系统基准测试的公开数据集还不存在，造成文件系统基准测试的结果不准确。主要原因两个，第一个是真实数据集太过庞大了很难获得，第二个是由于数据隐私性而导致数据内容无法获取。基于以上两点原因，设计和实现文件系统的测试数据集生成系统来研究文件系统基准测试系统是有实际价值意义的。论文首先介绍的是课题的研究背景意义、目前国内外研究情况和论文的主要工作，然后介绍了系统实现过程中的关键技术和算法模型，接着对系统的需求进行分析，紧接着对整个系统按模块进行详细的设计和实现，并运用Lognormal算法进

6、行数据生成和文件系统的实现，最后对整个系统的设计和实现进行测试和运行结果展示，同时进行了总结和展望。文本数据和二进制数据是文件系统基准测试数据集的主要数据类型，但是目前已经存在的数据集生成方法生成的数据内容还不够精确，当对启用压缩功能的新型文件系统进行测评时，无法得到准确的测试结果。针对以上提出的问题，作者的主要工作是设计了一种基于Lognormal算法的概率模型方法来生成源码数据集并对文件系统进行分析和自动生成文件系统，同时进行相应的测试。文件系统测试数据生成方法首先是依据实际数据集的切分词来建立语料库，再利用Lognormal对语料库

7、中的词分布进行拟合分析，从而得到Lognormal模型来模拟源码文件的内容。由于时间关系，本文没有涉及Hadoop，而以Linux内核源文件作为典型用例验证其方法的有效性，因Linux内核的代表性好，其实验结果可以用于Hadoop，实验结果表明该方法生成的数据集的内容精确。压缩测试应用实验结果表明生成数据与真实数据的压缩速率相似程度高，能够得到准确的测试结果。关键词：文件系统；数据集；Lognormal；压缩速率III北京交通大学硕士专业学位论文ABSTRACTABSTRACTWiththearrivaloftheeraofbigdata

8、,dataisgrowingatanimmeasurablepace,butmanycompanieshavenotrealizedthattherapidgrowthofdatawillbr