织云Metis时间序列异常检测全方位解析.ppt

《织云Metis时间序列异常检测全方位解析.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、织云Metis时间序列异常检测全方位解析腾讯社交网络运营部——Metis智能运维团队传统时序监控的问题与新思路检测算法原理与应用特征工程与打标工程样本库建设与管理Metis概述（智能运维应用实践）业务规模轻微的异常就会影响到大量的外网用户在线2.8亿月活8.05亿SNG服务器20w+社交类指标240w+传统监控与新思路形态各异准确率低维护成本高随着业务发展，传统监控呈现出的一些问题传统监控与新思路算法和机器学习的新思路是否可应用？传统时序监控的问题与新思路检测算法原理与应用特征工程与打标工程样本库建设与管理Meti

2、s概述（智能运维应用实践）常见的机器学习算法回归基于实例正则化贝叶斯聚类基于核关联规则决策树深度学习从大量输入中总结出准确预测的规律（模型）+++是我们的输入y是期望的输出a,b,c,d（W，b）是我们要求解的参数f是转换函数（公式、函数、算法、模型…）也就是我们要找的“规律”数值型预测0/1型预测概率型预测等技术路线演进时间序列的统计算法基于正态分布的假设基于弱平稳性的假设基于趋势性，周期性分类问题（只用有监督算法）正负样本不均衡正负样本不全面负样本稀少，难以获取解决方案（无监督+有监督）使用统计判别和无监督算法

3、过滤掉大量正样本人工标注正负样本有监督算法提升精准度技术框架离线模块数据存储统计算法&无监督算法输出疑似异常样本库（人工标注）特征工程（离线计算）有监督算法（离线计算）数据提取统计算法&无监督算法输出疑似异常加载有监督模型特征工程（实时计算）有监督算法（输出异常）在线模块ABTest模块人工审核Atest（实验模型A）Btest（实验模型B）第一层：统计判别算法数据提取以当前时刻为标准七天前后三小时+昨天前后三小时+今天前三小时Grubbs3sigma原理控制图移动平均算法指数移动平均算法√×3sigma算法与控制

4、图算法的优缺点第一层：无监督算法√×无监督学习算法的优缺点数据提取以当前时刻为标准七天前后三小时+昨天前后三小时+今天前三小时孤立森林可以从多维特征中寻找异常点SVM使用超平面的思想来进行异常/正常的区分RNN使用神经网络的误差来进行异常判断第一层：无监督算法IsolationForest属于无监督算法集成学习的思想适用于连续数据的异常检测通过多颗iTree形成森林来判断是否异常第一层：无监督算法OneClassSVM属于无监督算法使用了超平面的思想适用于连续数据的异常检测适用于对样本进行一定比例的筛选寻找高维平面

5、区分正常点与异常点第一层：无监督算法ReplicatorNeuralNetwork属于无监督算法需要构造必要的特征使用了神经网络的思想适用于连续数据的异常检测寻找神经网络的误差来区分正常点与异常点第二层：有监督算法有监督算法LinearRegression/LogisticRegressionDecisionTree/NaïveBayesRandomForest/GBDT/xgboost√有监督算法能解决的问题√传统时序监控的问题与新思路检测算法原理与应用特征工程与打标工程样本库建设与管理Metis概述（智能运维应

6、用实践）特征工程特征是数据中抽取出来的对结果预测有用的信息。特征工程包含了特征提取、特征构建、特征选择等模块样本初始特征分布情况特征监控样本分析全流程特征分析参数分析误差分析特征有效性分析离散化离群点分布共线性缺省值去均值归一化特征有效性分析特征选择特征组合与转换模型调优更新模型因子化相关性缺省值因子化连续特征离散特征标准化特征工程统计特征最大值，最小值，值域最小值位置、最大值位置均值，中位数平方和，重复值方差，偏度，峰度同比，环比，周期性自相关系数，变异系数拟合特征移动平均算法带权重的移动平均算法指数移动平均算法

7、二次指数移动平均算法三次指数移动平均算法奇异值分解算法自回归算法深度学习算法分类特征熵特征值分布特征小波分析特征特征工程统计特征最大值，最小值，值域最小值位置、最大值位置均值，中位数平方和，重复值方差，偏度，峰度同比，环比，周期性自相关系数，变异系数特征工程拟合特征移动平均算法带权重的移动平均算法指数移动平均算法二次指数移动平均算法三次指数移动平均算法奇异值分解算法自回归算法深度学习算法特征工程分类特征熵特征值分布特征小波分析特征聚类Kmeans分类器打标工程输出异常视图到前端页面人工确认是否真的异常，假异常则校正

8、后台根据人工校正的结果，存下校正后的所有结果：正常记为1，异常记为0传统时序监控的问题与新思路检测算法原理与应用特征工程与打标工程样本库建设与管理Metis概述（智能运维应用实践）样本库管理与建设样本库管理样本是核心价值样本的丰富程度制约检测效果格式、长度、标签（分类、正负）、时间戳、标志、来源样本查看：权限、类别、业务维度等样本查找：字段检索、相似度检索、