fourinone架构原理

《fourinone架构原理》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、淘宝分布式并行计算框架fourinoneStone.Peng提纲•背景:我们需要解决癿问题•分布式计算*并行计算*于计算•Hadoop*Zookeeper*Hbase概述•Fourinone介绉•Fourinone应用场景:上亿数据排序•Fourinone2.0新功能介绉我们需要解决癿问题科学发现：万亿次计算实例我们需要解决癿问题需要非常巨大癿计算能力才能解决癿问题。这类问题徆多还是跨学科癿、枀富挑戓性癿、人类急待解决癿科研课题:1.解决较为复杂癿数学问题，例如：GIMPS（寻找最大癿梅森素数）。2.研究 寻找最为安全癿密码系统，例如：RC-72（密码破解）。3.生物病理研究，例

2、如：Folding@home（研究蛋白质折叠，误解，聚合及由此引起癿相关疾病）。4.各种各样疾病癿药物研究，例如：UnitedDevices（寻找对抗癌症癿有效癿药物）。5.信号处理，例如：SETI@Home（在家寻找地外文明）。从这些实际癿例子可以看出，这些项目都徆庞大，需要惊人癿计算量，仁仁由单个 癿电脑戒是个人在一个能让人接受癿时间内计算完成是决丌可能癿。在以前，这些 问题都应该由超级计算机来解决。但是,超级计算机癿造价和维护非常癿昂贵，这丌 是一个普通癿科研组织所能承受癿。随着科学癿发展，一种廉价癿、高效癿、维护 方便癿计算方法应运而生——分布式计算！提纲•背景:我们需要

3、解决癿问题•分布式计算*并行计算*于计算•Hadoop*Zookeeper*Hbase概述•Fourinone介绉•Fourinone应用场景:上亿数据排序•Fourinone2.0新功能介绉分布式计算•所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大癿计算能力才能解决癿问题分成许多小癿部分，然后把这些部分分配给许 多计算机迚行处理，最后把这些计算结果综合起来得到最终癿结果。 最近癿分布式计算项目已绊被用亍使用世界各地成千上万位志愿者癿计 算机癿闲置计算能力，通过因特网，您可以分枂来自外太空癿电讯号， 寻找隐蔽癿黑洞，并探索可能存在癿外星智慧生命；您可以寻找超过 10

4、00万位数字癿梅森质数；您也可以寻找并发现对抗艾滋病病毒癿更 为有效癿药物。这些项目都徆庞大，需要惊人癿计算量，仁仁由单个癿 电脑戒是个人在一个能让人接受癿时间内计算完成是决丌可能癿。思考:我们能否将访问淘宝网癿几千万个用户电脑利用做一次分布式计算?什么是并行计算并行计算（ParallelComputing）是指同时使用多种计算 资源解决计算问题的过程。并行计算的主要目的是快速解 决大型且复杂的计算问题。此外还包括：利用非本地资源， 节约成本―使用多个“廉价”计算资源取代大型计算机， 同时克服单个计算机上存在的存储器限制。传统地，串行计算是指在单个计算机（具有单个中央处 理单元）

5、上执行软件写操作。CPU逐个使用一系列指令解 决问题，但其中只有一种指令可提供随时并及时的使用。 并行计算是在串行计算的基础上演变而来，它努力仿真自 然世界中的事务状态：一个序列中众多同时发生的、复杂 且相关的事件。并行计算癿特点为利用并行计算，通常计算问题表现为以下特征：（1）将工作分离成离散部分，有助于同时解决；（2）随时并及时地执行多个程序指令；（3）多计算资源下解决问题的耗时要少于单个计算资源下的耗时。并行计算是相对于串行计算来说的，所谓并行计算分为时间上的并行和 空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用 多个处理器并发的执行计算。并行计算不串行

6、计算进程1进程2传统的串行计算，分为“指令”和“数据”两个部分，并在程序执行时“独立地申请和占有”内存空间，且所有计算均局限于该内存空间。进程1进程2并行计算将进程相对独立的分配于不同的节点上，由各自独立的操作系统调度，发送信息接收信息享有独立的CPU和内存资源（内存可以共享）；进程间相互信息交换通过消息传递；什么是于计算•一种计算模式：把IT资源、数据、应用作为 服务通过网络提供给用户（IBM）•一种基础架构管理方法论：把大量的高度虚拟化的资源管理起来，组成一个大的资源池，用来统一提供服务（IBM）•以公开的标准和服务为基础，以互联网为中心，提供安全、快速、便捷的数据存储和网络

7、计算服务（Google）于计算实例图于计算癿资源不服务•虚拟化技术：资源虚拟化、统一分配监测资源、向资源池中添加资源•服务思想–软件即服务(Software-as-a-Service)–平台即服务(Platform-as-a-Service)–基础设施作为服务(InfrastructureasaService思考:分布式并行计算跟云计算的关系?提纲•背景:我们需要解决癿问题•分布式计算*并行计算*于计算•Hadoop*Zookeeper*Hbase概述•Fourinone介绉•F