日志大数据分析平台技术研究-计算机应用技术专业毕业论文

《日志大数据分析平台技术研究-计算机应用技术专业毕业论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：-rp；c}f单位代码：10422密级：松再学号：加f2，鸲7j∥户索力季SHANDONGUNIVERSltY硕士学位论文ThesisforMasterDegree论硒目：臼志大数孑后窃祈干乜拟石倬陡灸叩l、绷了e认们叼协垆幻均腑a4，1队“9f岁蛳mJ作者姓名培养单位专业名称指导教师合作导师沙传年多月f‘Et万方数据Ⅲ洲Illlll{lllIiIll㈨lllllIIlllⅧ洲Y2794592原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得的成果。除文中已经

2、注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。论文作者签名：f盟缝日期．丝f岁：S：侈关于学位论文使用授权的声明本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本学位论文。(保密论

3、文在解密后应遵守此规定)一：f虹翩繇监型．，。万方数据目录摘要．．IABSTRACT．．II第l章绪论．11．1日志大数据分析研究背景．．11．2曰志大数据分析研究现状．．21．2．1日志分析研究现状．．21．2．2存在的问题．．41．3论文主要研究内容．．51．4论文结构．．5第2章日志大数据分析平台关键技术．72．1Hadoop概述．72．2Hadoop分布式文件系统72．2．1HDFS的架构72．2．2HDFS的Java接口．．92．3在Hadoop中开发MapReduce程序．：．102．3

4、．1MapReduce程序开发流程102．3．2MapReduce开发接口介绍112．4Hive核心技术介绍122．4．1Hive简介．．122．4．2Hive特性．132．4．3常用HiveQL操作．132．5RPC服务框架Thrift．162．5．1Thrift架构．．162．5．2Thrift工作原理一172．6本章小结18第3章日志大数据分析平台需求分析193．1总体需求分析19万方数据山东大学硕士学位论文3．2采集层需求分析203．2．1W曲日志．．203．2．2采集任务功能213．2．3

5、采集任务数据字典223．2．4预处理任务功能233．2．5预处理任务数据字典243．3存储层需求分析243．3．1日志大数据存储243．3．2文件操作接口253．4分析层需求分析253．4．1用户操作Hive需求．．263．4．2分析任务功能263．4．3分析任务数据字典273．5任务调度执行层需求分析283．5．1调度执行接口283．5．2调度执行策略293．6本章小结30第4章平台设计及关键技术实现314．1总体架构314．2采集层设计314．2．1目志传输引擎314．2．2日志预处理引擎324

6、．3存储层设计344．3．1文件操作接口344．4分析层设计354．4．1Hive操作接口354．4．2分析任务执行引擎设计364．5任务调度执行框架设计364．5．1调度引擎架构37万方数据山东大学硕士学位论文4．5．2JobManager设{十．．374．5．3JobExecutorj发计．．394．5．4任务调度属性414．5．5任务调度模型424．5．6组件通信434．6本章小结44第5章平台部署与实验分析455．1实验环境部署455．1．1任务接口模块部署455．1．2任务调度执行模块部署

7、465．1．3底层存储计算模块部署475．2基于平台的日志分析475．2．1新建采集任务485．2．2新建预处理任务495．2．3Hive建表任务505．2．4新建分析任务515．3平台效果检验模型525．4本章小结53第6章总结与展望546．1论文工作总结546．2展望54参考文献．56致谢60万方数据山东大学硕士学位论文CONTENTABSTRACT(Chinese、．．．．．．．．．．．．．．．．．．．．．．．．．IABSTRACT(English)．．．．．．．．．．．．．．．．．．．．．．

8、．．．．．IIChapter1Introduction．．．．．．．．．．．．．．．．．．．．．11．1TheResearchBackground．11．2CurrentStateofBigLogDataAnalysisResearch．．．．．．．．．．．．．21．2．1CurrentStateofLogDataAnalysisResearch21．：!．2ExistingProblems．．．．．．．．．，．．．．．．．．．．．41．3ResearchConten