欢迎来到天天文库
浏览记录
ID：46914221
大小：843.50 KB
页数：22页
时间：2019-11-29
《亿级用户下的新浪微博平台架构》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、亿级用户下的新浪微博平台架构@卫向军_微博Agenda 1.微博的技术架构2.微博平台的技术挑战3.微博平台架构演变与第三代技术架构体系4.Watchman-分布式服务追踪系统5.Feed多级双机房缓存系统6.致谢微博技术架构客户端Web（JS、CSS、HTML）AndroidiPhone接入层Web（php）MAPIPush网关后台搜索微博平台（Java）大数据平台架构演变2009-20102011-20142014–将来技术架构、业务架构、LAMP面向SOA的架构技术保障多维度结
2、合平台技术挑战10亿级PV，百万级的QPS，千亿级数据4个9的可用性，150ms的SLA，线上故障5min内处理。1.02亿DAU，6941万的总互动量，相关阅读数41.5亿（羊年除夕）。百个微服务，2次/周的常规上线与不限次数的紧急上线数据量用户体验业务biggerthanbiggerfasterthanfastermoreandmore第三代技术体系业务架构技术架构监控平台服务治理14710接口层Feed关系通讯接口框架SLA流量切换基25础811
3、组RPCFeed关系通讯件服务状态服务依赖+服务层MCQ分布式调用链发布和灰度短链用户发号器Config追踪36组912件MCHBaseCache组件Error资源层扩容与缩容RedisMySQL对象库异常水平维度分析层次特点机器技术保障接口层•无状态设计•前端（侧重•高可扩展性•支持HTTP/1.1协CPU和内存）•支持内外网两议，JSON数据格种部署式服务层•无状态设计•RPCServer •高可扩展性•组合服务与原子队列处理机•主要部署
4、在内服务（侧重CPU和网内存）资源层•数据可靠性要求•Hbase/MySQL •扩展性较差很高•MC/MCQ/•数据迁移•容量与QPS规划Redis（侧重•服务扩容•扩容方案内存与硬盘)•安全性要求高平台架构延伸维度业务架构技术架构技术保障平台团队•业务架构师•技术架构师•平台运维团和业务工程队师团队职责•业务模块化、•提供标准化•服务保障服务化的技术框架•服务上线、•业务流程优•解决系统高下线化并发、高可•业务监控与•业务容量评用、高可扩报警估展问题1.平台组织架构（物理）与技术体系（逻辑）从无缝结
5、合，提高了团队协作的效率，降低了沟通成本。2.12个区间分别聚焦于各自的侧重点，指明长期的发展方向。分布式追踪系统分布式服务痛点•同一个请求，处理时依赖多个微服务。•各个服务之间互相隔离，导致出问题时，排查特别困难。•不同服务的日志无法有效的匹配。WatchMan系统解决的问题•生成完整的请求调用链，方便排查问题。•生成服务依赖关系图，查询线上服务的状态。•结合RPC框架，扩展服务治理功能。设计要点•生成唯一的RequestID标识，并逐级递归传递给调用的HTTP与RPC服务。•对业务系统最低侵入原
6、则，使用AOP方式织入平台中间件。•对业务系统性能影响最小，采用1/1000的采样率。调用链模型User节点A节点BCSSRCSSRrpc1CRSS4节点模型：CS = Client Send SR = Server Receive CSSR节点DSS = Server Send rpc3CR = Client Receiverpc2rpc4CRSS节点ECRSS节点C 系统架构设计agentagent(MC/Redis/资源agentagentWeb
7、V4 ServerWeb V4 Client中间件/...)RPC ClientRPCServer1.11.21.31.4解决跨语言、跨框架的问题，微博平台所有服务以及接口通过生标准化日志成标准的日志，支撑不同的接口框架以及RPC服务框架。Scriber SererSparkHBaseUIFeed多级分布式缓存设计用户访问模型驱动设计模型建常见的模型指标：立•读写比•访问时长分布•访问时段分布模型摸模型发•访问量分布索生变化•访问来源分布•…… Feed用户行为分析用户浏
8、览页数统计微博曝光量日志抽样分析：97%用户都是浏览5天内的微博Feed缓存结构与聚合图多级双机房缓存系统idc1idc2L1扩容，增加吞吐量L1GroupL1GroupL1GroupL1GroupMaster扩容，增加容量互为主备MasterGroupSlaveGroupidc1过来的请求•支持一致性Hash、Mod、日期hash等策略。•每一组资源最佳4‐6台。idc2过来的请求Feed 存储架构‐MySQL Feed 存储架构‐MySQL 二级索引
此文档下载收益归作者所有
