APM性能日志传输解决方案设计.doc

《APM性能日志传输解决方案设计.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、APM性能日志传输解决方案设计　　APM性能?志传输解决?案主讲鲁班时间2018/3/138:20地址腾讯课堂-图灵学院概要1.?志传输解决?案设计2.filebeat采集配置与实现3.filebeat集成logstatsh&elasticsearch讲师介绍?、?志传输解决?案设计1.APM整体架构回顾2.传输模块解决?案　　1、APM整体架构回顾?个完整的APM系统，包含如下基本模块1.性能?志采集2.数据传输3.异常判定与报警4.数据存储5.图表展示各模块对应关系如下图各模块在我们的APM系统当中如何实现的？　　2、传输模块具体解决?案传输模块的设计?标在

2、于两点1.保证信息能够顺利传输?报警判定中?与存储中?。　　2.可基于不同业务体量灵活调整架构规模，控制维护成本。　　基于设计?标我们的传输?案分为以下三个档，以应对不同的业务体量。　　基本业务体量中等业务体量超?业务体量?、filebeat采集配置与实现1.filebeat简介2.filebeat安装与简单使?3.filebeat参数说明　　1、filebeat简介filebeat是elasticBeats平台的?员，使?GO语?开发，期主?途为?件数据采集器。　　这些采集器安装后可?作轻量型代理，从成百上千或成千上万台机器向Logstash或Elastics

3、earch发送数据。　　其主要特点如下1.轻量对使?环境?依懒。　　2.即插即?内部集成了?系列模块，?以简化收集、解析和可视化常??志格式，诸如NGINX、Apache3.可扩展可基于libbeat??构建采集器。　　2、filebeat安装与使?前往elastic官?下载filebeat指定版本s://.elastic.co/downloads/past-releases#下载wgets://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.6-注本次项?启?的Elastic系统版本统?为V

4、5.6.6ffilebeat使?演示:　　3、filebeat参数说明常?的filebeat分为三个部分1.prospectors采集配置2.Output输出配置3.global与General公共配置与?般配置采?YAML语?做为其配置语法。　　它的基本语法规则如下。　　1.??写敏感2.使?缩进表示层级关系3.缩进时不允许使?Tab键，只允许使?空格。　　4.缩进的空格数?不重要，只要相同层级的元素左侧对?即可示例具体配置说明linux-x86_64.tar.gz#解压tar-zxvffilebeat-5.6.6-linux-x86_64.tar.gz#配置

5、文件vimfilebeat.yml#启动./filebeat#后台启动$nohup./filebeat&Filebeat配置?件，设置要采集的?志项与输出项?重新启动Filebeat?写??志查看Filebeat采集情况?filebeat.prospectors:-input_type:logpaths:-/var/log/*.log-/var/log/nginx/*.aess.log-input_type:logpaths:-/var/log/*.log-/var/log/nginx/*.aess.logoutput.elasticsearch:hosts:[

6、"localhost:9200","192.168.0.01:9200"]模块配置说明prospectorsinput_type可选值log/stdin，分别代表?志输?和标准输?paths数组采集?本路径encoding采集编码exclude_lines排除指定符合正则表达示的?DEBUGTRACEINFOinclude_lines包含除指定符合正则表达示的?exclude_files排除?指定?件，正则表达示fields:额外增加的字段和值，以键值对的形式配置level:debugreview:1fields_under_roottrue/false额外字段

7、是否存放?根?录document_type指定Elasticsearch当中对应type进?存储scan_frequency:10sharvester_buffer_size:16384max_bytes:10485760json.message_key:如果json为多?格式时，指定?个rootkey，以进?标识json.overwrite_keys:falsefalse/true是否覆盖beat中的字段json.add_error_key:falsefalse/true解析失败时是否存储解析失败信息json.keys_under_root:falsefals

8、e/true是否存放在根