资源描述：
《2019 ECIC大会PPT-姜江、陈博暄《万物皆K8S-新东方从服务化es到kafka和redis的实践》.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、万物皆K8S:从服务化es到kafka和redis姜江新东方信息管理部平台架构负责人陈博暄新东方信息管理部高级运维工程师演讲者简介姜江陈博暄新东方信息管理部新东方信息管理部平台架构负责人高级运维工程师CNCFCKA,十余年运维管理从业经历，专注于18年初获得CKA认证,一直从事容器服务落地和运维自动Infrastructureascode、容器和cloudnative相关技术化等相关工作,目前负责k8s平台在新东方的探索和实际的研究和落地。目前就职于新东方，负责新东方基础架落地工作.构和容器平台的探索和实践新东方教育科技集团介绍核心理念终生学习，全球视野，
2、独立人格企业责任新东方教育科技集团，是国内规模最大希望小学、教师社会责任行的综合性教育集团。公司业务包括外语培训、助梦行动、阳光课堂中小学基础教育、学前教育、在线教育、出国咨询、图书出版等各个领域，旨在为学员提供一站式终身学习服务。新东方教育科技集团于2006年9月7日业务体系在美国纽约证券交易所成功上市，成为中国大陆首家海外上市的教育培训机构。基础教育、短期培训、出国咨询、文化出版等简单的说:我们是一家一不留神就上热搜的企业新东方的容器化之路SwarmCattleK8S201620172018我们怎么看待K8SPaasCaasKubernetesIaas
3、新东方容器云总体设计XDF新东方K8S实践XDF新东方镜像和分发XDF新东方节点管理XDF新东方CI/CDXDF新东方监控项目日志和集群日志XDF新东方集群建设Test集群1.12.4业务~1.14.1PRD集群1.11.9业务UAT集群1.11.9PlatformUat集群1.14.1Platform-1集群1.14.1业务应用情况掌上泡泡/新东方中间件服务化APP后端服务为什么要将中间件服务化ES队列缓存等中间件特点:•项目应用范围广•规模大•KPI要求高•增长快•跨机房高可用•项目自有小灶吃资源•版本多•投入人员多•管理和维护成本高治理猛兽的穿心
4、箭->自动化->服务化容器化->->服务化通过组合Helm和ansible将基础架构代码化InfrastructureasaCodeAnsibleAWXHelm容器化->自动化->将最佳实践和管理规范转换为服务输出逐步合并项目中的小灶到大锅饭中来VIP项目可以改造为大锅饭中的小灶将运维人员对项目支持的劳务输出转变为对服务平台的建设赋能一线人员,让二线人员做更有意义的事情我们的实践ELK/ESElastic给我们很大启发ELK的编排UAT环境的编排方案NodeNodeNodeNodeNodeNodeStatefulsetStatefulsetES-STS1E
5、S-STS2ES-STS2ES-STS1RBDRBDRBDRBDRBDRBDRook(ceph)Rook(ceph)1.存储采用ROOK与ES同属于同一个K8S集群2.ES数据节点是一个STS,每个节点挂载一个RBD卷3.节点可以任意在各个node中漂移.生产环境的编排NodeNodeNodeNodeNodeNodeDeploy1Deploy2Deploy1Deploy2CopyES-dep1ES-dep2ES-dep1ES-dep2hostpathhostpathhostpathhostpath1.每个ES节点是一个deployment,deployme
6、nt中只有一个POD2.使用Taint和label将deploy固定到指定的物理机上,禁止漂移3.数据直接写本地磁盘(hostpath)4.直接采用Host网络5.如果节点挂了就挂了,等待就地复活6.如果无法复活,节点数据丢弃,从物理机池中唤醒新的实例,从集群同步数据简约架构是最美的架构•组件减少,故障点也少•性能强:•本地磁盘性能优于RBD•Host网络跳过K8S网络栈•被编排的应用特性决定:•ES是分布式架构•ES内置副本机制•本地复活节点比节点漂移的恢复时间更短•物理节点彻底无法复活是小概率事件我们的实践RedisRedis编排•Redis哨兵无持久
7、化方案•Host网络,每个项目两个端口,端口保证唯一•容器内部嵌入supervisord,避免k8s在哨兵反应前重启POD•RedisPOD启动时绑定CPU我们的实践KafkaKafka简述kafka是一种高吞吐量的分布式发布订阅消息系统kafka的优势和特点:•吞吐量高•数据可持久化•分布式架构,且易于扩展Kafka应用场景和设计要求•使用kafka作为交易类系统的•要求各项目topic之间权限完全隔消息队列离•使用kafka作为业务log的中间•资源隔离,读写大户隔离部署载体,将数据转到es端进行消费•同时满足SSL加密传输和明文传输•Kafka传送M
8、ysqlbinlog将数据同步到其他数据库或ESKafka安全加固
