高并发高负载系统架构

《高并发高负载系统架构》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、高并发高负载系统架构二OO九年十一月目录1、为什么要进行高并发和高负载的研究2、高并发和高负载的约束条件3、解决之道——硬件篇4、解决之道——部署篇5、解决之道——环境篇6、解决之道——SiteEngine篇7、解决之道——测试篇8、结尾为什么要进行高并发和高负载的研究1、产品发展的需要2、公司发展的需要3、当前形式决定的高并发和高负载的约束条件1、硬件2、部署3、操作系统4、Web服务器5、PHP6、MySQL7、测试解决之道——硬件篇处理能力的提升：部署多颗CPU，选择多核心、具备更高运算频率、更大高速缓存的CPU；处理能力的提升最直接的反应在于Web请求的处理效率和PHP程序

2、的执行效率。内存带宽与容量：更大的内存带宽和容量；内存带宽与容量的提升最直接的反应在于应对数据库大量的数据交换。磁盘搜索与I/O能力：选择更高的转速、更大的硬盘缓存、组件磁盘阵列（RAID）；磁盘搜索与I/O能力的提升最直接反应在于数据库大量的查询和读写以及文件的读写。网络带宽的提升可考虑的因素包括：更大带宽、多线路接入、独享带宽；服务器在大负载的情况下，对网络带宽的占用是十分可观的。策略：硬件设施是应对大负载的基础，硬件设施的投入可根据实际压力和预算量力而行。解决之道——部署篇1、服务器分离2、数据库集群和库表散列3、镜像4、负载均衡分类：1)、DNS轮循2）代理服务器负载均衡3

3、）地址转换网关负载均衡4）NAT负载均衡5）反向代理负载均衡6）混合型负载均衡策略：根据硬件投入和业务需求，选择合理的部署方案。解决之道——部署篇——方案一适用范围：静态内容为主体的网站和应用系统；对系统安全要求较高的网站和应用系统。MainServer：主服务器承载程序的主体运行压力，处理网站或应用系统中的动态请求；将静态页面推送至多个发布服务器；将附件文件推送至文件服务器；安全要求较高，以静态为主的网站，可将服务器置于内网屏蔽外网的访问。DBServer：数据库服务器承载数据库读写压力；只与主服务器进行数据量交换，屏蔽外网访问。File/VideoServer：文件/视频服务器

4、承载系统中占用系统资源和带宽资源较大的数据流；作为大附件的存储和读写仓库；作为视频服务器将具备视频自动处理能力。发布服务器组：只负责静态页面的发布，承载绝大多数的Web请求；通过Nginx进行负载均衡部署。解决之道——部署篇——方案二适用范围：以动态交互内容为主体的网站或应用系统；负载压力较大，且预算比较充足的网站或应用系统；Web服务器组：Web服务无主从关系，属平行冗余设计；通过前端负载均衡设备或Nginx反向代理实现负载均衡；划分专用文件服务器/视频服务器有效分离轻/重总线；每台Web服务器可通过DEC可实现连接所有数据库，同时划分主从。数据库服务器组：相对均衡的承载数据库读

5、写压力；通过数据库物理文件的映射实现多数据库的数据同步。共享磁盘/磁盘阵列将用于数据物理文件的统一读写用于大型附件的存储仓库通过自身物理磁盘的均衡和冗余，确保整体系统的IO效率和数据安全；方案特性：通过前端负载均衡，合理分配Web压力；通过文件/视频服务器与常规Web服务器的分离，合理分配轻重数据流；通过数据库服务器组，合理分配数据库IO压力；每台Web服务器通常只连接一台数据库服务器，通过DEC的心跳检测，可在极短时间内自动切换至冗余数据库服务器；磁盘阵列的引入，大幅提升系统IO效率的同时，极大增强了数据安全性。解决之道——环境篇1、操作系统2、Web服务器3、Mysql4、PH

6、P5、代理服务器（缓存服务器）解决之道——环境篇——操作系统操作系统的选择，关注点在于是否适应于搭建SiteEngine所需要的环境程序？系统本身占用的资源比；系统安全性；系统是否易于操作？策略：我们选择FreeBSD，而且是最小化安装以后的FreeBSD。解决之道——环境篇——Web服务器Web服务器很大一部分资源占用来自于处理Web请求，通常情况下这也就是Apache产生的压力，Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上。在高并发连接的情况下，Nginx是Apache服务器不错的替代品。Nginx(“enginex”)是俄罗斯人

7、编写的一款高性能的HTTP和反向代理服务器。在国内，已经有新浪、搜狐通行证、网易新闻、网易博客、金山逍遥网、金山爱词霸、校内网、YUPOO相册、豆瓣、迅雷看看等多家网站、频道使用Nginx服务器。Nginx的优势：高并发连接：官方测试能够支撑5万并发连接，在实际生产环境中跑到2～3万并发连接数。内存消耗少：在3万并发连接下，开启的10个Nginx进程才消耗150M内存（15M*10=150M）。内置的健康检查功能：如果NginxProxy后端的某台Web服务器宕机了，