云计算下大数据高效处理的若干关键问题研究

《云计算下大数据高效处理的若干关键问题研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP393单位代码：10183研究生学号：2015531002密级：公开吉林大学博士学位论文云计算下大数据高效处理的若干关键问题研究ResearchonKeyProblemsofEfficientProcessingofBigDatainCloudComputing作者姓名：丁言专业：计算机系统结构研究方向：云计算与大数据指导教师：徐高潮教授培养单位：计算机科学与技术学院2018年6月云计算下大数据高效处理的若干关键问题研究ResearchonKeyProblemsofEfficientProcessingofBigDatainCloudComp

2、uting作者姓名：丁言专业名称：计算机系统结构研究方向：云计算与大数据指导教师：徐高潮教授学位类别：工学博士培养单位：计算机科学与技术学院论文答辩日期：2018年06月09日授予学位日期：年月日论文评阅人：答辩委员会组成：姓名职称工作单位姓名职称工作单位盲审专家副高级湖南大学主席姜守旭教授哈尔滨工业大学盲审专家正高级北京理工大学委员孔俊教授东北师范大学盲审专家正高级清华大学张德悦教授吉林大学韩月才教授吉林大学刘军教授吉林大学魏晓辉教授吉林大学未经本论文作者的书面授权，依法收存和保管本论文书面版本、电子版本的任何单位和个人，均不得对本论文的全部或部分内容

3、进行任何形式的复制、修改、发行、出租、改编等有碍作者著作权的商业性使用（但纯学术性使用不在此限）。否则，应承担侵权的法律责任。吉林大学博士学位论文原创性声明本人郑重声明：所呈交的博士学位论文，是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：2018年月日《中国优秀博硕士学位论文全文数据库》投稿声明研究生院：本人同意《中国优秀博硕士学位

4、论文全文数据库》出版章程的内容，愿意将本人的学位论文委托研究生院向中国学术期刊（光盘版）电子杂志社的《中国优秀博硕士学位论文全文数据库》投稿，希望《中国优秀博硕士学位论文全文数据库》给予出版，并同意在《中国博硕士学位论文评价数据库》和CNKI系列数据库中使用，同意按章程规定享受相关权益。论文级别：□硕士■博士学科专业：计算机系统结构论文题目：云计算下大数据高效处理的若干关键问题研究作者签名：指导教师签名：2018年6月日作者联系地址（邮编）：吉林大学计算机科学与技术学院130012作者联系电话：15948764199摘要摘要云计算下大数据高效处理的若干关

5、键问题研究大数据已经成为信息技术及其它相关交叉领域的研究热点。它被认为是极具价值的重要资产，具有推动人们生产生活与科学技术发展的巨大潜力。通过对大数据进行相应的分析处理与开发利用，我们可以获得新的知识、新的规则、问题的答案、甚至是预测模型等对科研、生产和生活产生重要积极影响的信息。然而，大数据所具有的特性（如：大规模性、实时性等）使得当前广泛使用的集中式计算架构及经典的数据分析模型与算法无法直接适用于大数据而实现高效的大数据分析处理。这主要是因为大数据自身的复杂性以及当前的主流计算范式难以为大数据的高效处理提供弹性可扩展的充足计算能力。近些年云计算的出现

6、与发展为解决这一难题提供了可能。云计算目前已经逐渐成为大数据研究与应用的基础底层平台。本文将云计算下大数据高效处理问题的研究分成以下三个方向：云计算平台、大数据预处理和经典数据处理算法与模型。第一，为了高效地处理大数据，我们需要利用具有弹性可扩展特性的云计算平台所提供的虚拟化并行计算能力来处理大数据计算任务。第二，我们可以在分析挖掘大数据之前先对大数据本身进行针对性的预处理以达到事半功倍的效果。因此，对云计算下大数据高效预处理方法进行研究十分必要。第三，现有的经典数据分析算法与模型应结合云计算技术针对大数据问题进行新的设计研究，进而实现云计算下大数据的高

7、效处理，而不是将传统算法与模型直接用于处理大数据。本文将以上三个方向涉及到的研究问题称为云计算下大数据高效处理的关键共性问题。本文重点关注并研究了云计算下大数据高效处理的若干关键问题。首先研究了针对大数据高效处理的云计算下多任务部署方法与虚拟机动态迁移策略；然后研究了针对大数据高效处理的移动云计算模型与部署方法；最后研究了针对大数据高效处理的云计算下大数据实例约简预处理方法与云计算下大数据推荐系统框架。本文的主要贡献如下：（1）进行了针对大数据高效处理的云计算下多任务部署方法与虚拟机动态迁移策略的研究。为了利用云计算虚拟化资源池的弹性可扩展特性所支撑的强

8、大并行计算潜力来获得大数据高效处理的底层基础设施，首先需要实现云计算下高效的多任