数据挖掘网格中作业分配与调度关键技术研究

《数据挖掘网格中作业分配与调度关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北京邮电大学博士学位论文数据挖掘网格中作业分配与调度关键技术研究姓名：赵现纲申请学位级别：博士专业：计算机科学与技术指导教师：王柏20070711北京邮电大学博士学位论文摘要数据挖掘网格中作业分配与调度关键技术研究摘要数据挖掘网格是一种专用网格，它是数据挖掘技术与网格技术的有机结合，主要用来解决面向海量数据的、高计算能力要求的数据挖掘问题，它能够在动态变化的多个网格节点间共享资源和协同解决面向各领域的智能分析问题。由于数据挖掘应用本身的复杂性和网格的异构性、动态性，使得数据挖掘网格具有自己的特点，它的很多关键技术还有待进一步研究，作业分配与调度技术

2、便是其一·作业分配与调度的核心功能是识别作业的资源需求，查询、分配、调度和监视资源，以尽可能高效地利用资源，提高整个网格系统的性能，保证资源使用者和提供者的利益。作业的分配与调度分为三个阶段：资源发现、资源分配和任务调度，这是一个完整的过程，本文围绕该过程所涉及到的关键技术，对分配与调度架构、作业与调度建模、资源发现、资源分配和定价策略等方面进行了系统而深入的研究。论文的主要工作和贡献归纳如下：l、提出一种基于可变结构Petri网的作业模型作业分配、调度和运行过程的形式化描述有助于过程的正确性检验、性能评价和优化。根据数据挖掘网格中作业分配与调度的

3、需求和特点，论文中提出了一种基于可变结构Petri网的作业模型和相应的作业调度模型。它们不仅能够对作业分配与调度的过程和作业运行过程进行精确定义，还能对整个过程进行各种正确性和性能分析，以处理作业在使用数据挖掘网格中的动态、分布式资源时所产生的冲突、异常等问题。论文对各粒度作业之间的分解规则进行了详细定义，并通过设计变迁树来分析作业网的性能和优化作业的分配过程。2、提出了一种基于兴趣组的分布式信息服务资源发现是作业分配与调度中必不可少的阶段。论文中提出了一种基于兴趣组的信息服务，它为作业分配与调度提供可靠、高效的资源信息管理与发现服务。该信息服务采

4、用了信息备份和邻居分类机制北京邮电大学通信软件工程中心北京邮电人学博士学位论文摘要来有效地缩短查询距离，提高查询的成功率和保证系统的连通性。实验结果表明，基于兴趣组的信息服务适合于大规模的、可靠性要求高的网格系统。3、提出了一种基于性价比的资源分配机制资源分配从可用资源集中为各个任务选择最合适的资源或资源集，并为它们分配具体的工作量，它是作业分配与调度的重要组成部分。论文中提出了一种基于性价比的资源分配机制，该分配机制在满足任务时限和预算的前提下，使资源使用者在使用资源时达到个体的效用最大化。实验分析表明基于性价比的分配在实现了用户使用资源效用最大

5、化的同时，在分配成功率、时间和费用优化方面也取得了不错的效果。4、提出了一种基于资源负载预测和任务分类的动态价格机制在作业分配与调度过程中，除了要保证资源使用者的利益外，还要保证资源提供者的利益，并能实现系统资源的负载平衡。论文中提出了一种基于资源负载预测和任务分类的动态价格机制。该机制基于预测所得的资源未来负载和需求价格弹性理论提前对资源和任务进行价格调整。论文中通过实验来验证了该机制的效果，结果表明该机制不仅可以促进系统负载达到均衡，还可以有效地保障资源提供者的利益。关键词：数据挖掘网格，作业分配与调度，作业建模，资源发现，动态价格，性价比北京

6、邮电人学通信软件T程中心Ⅱ北京邮电大学博士学位论文RESEARCHONKEYTECHNOLOGIESOFJOBALLOC棚ONANDSCHEDULINGINDA=I：AMININGGlUDDMG(DataMiningGrid)isaspecialGridanditintegratesGridtechniqueswithdataminingtechniques．DMGisusedtosolvethedataminingproblemswithmassivedataandhigllcomputingrequirements．DMGhasownchara

7、cteristicsbecauseofthecomplexityofdataminingapplicationandthedynamicandheterogeneouscharacteristicsofGrid．Therearemanykeytechniquesneedfurtherinvestigation，oneofwhichisJobAllocationandScheduling．Joballocationandschedulingisusedtoidentifyresourcerequirements，findandallocatereso

8、urces，scheduleandmonitorjobs．ItaimstomakefullUSeofGridresourc