一种时序数据的离群数据挖掘新算法.pdf

《一种时序数据的离群数据挖掘新算法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第卷第期控制与决策年月文章编号一种时序数据的离群数据挖掘新算法郑斌祥杜秀华席裕庚上海交通大学自动化研究所上海摘要离群数据挖掘是数据挖掘的重要内容针对时序数据进行离群数据挖掘方法的研究首先通过对时序数据进行离散傅立叶变换将其从时域空间变换到频域空间将时序数据映射为多维空间的点在此基础上提出一种新的基于距离的离群数据挖掘算法对某钢铁企业电力负荷时序数据进行仿真实验结果表明了算法的有效性关键词离群挖掘离群数据数据挖掘知识发现中图分类号文献标识码引言序数据相似性的挖掘等对于离群数据一般将其删除或忽略然而时序数据的离群数据使人们能够发数据挖掘就是从大型数据库的数据中提取人们现时序数据的一些潜在的有用知识

2、感兴趣的知识离群数据挖掘简称离群挖掘是离群数据已在统计学领域得到广泛研究但从大量的数据中挖掘出明显偏离其它数据不满足基于统计的方法需要用户建立数据点的概率分布模数据的一般行为或模式与存在的其它数据不一致型应用时需事先知道数据集的分布和分布参数等的数据对离群数据挖掘的研究往往可以使人们发信息和提出基于距离的离群数据挖掘现一些潜在的有用信息如电力系统运行中的异常方法但这种方法中的距离难以确定而且没有离群银行信用卡欺骗行为的监测等数据的离群衡量测度等提出一种基于偏时序数据是指按时间顺序取得的一系列观测离的离群数据发现方法需要确定相异函数进行离值时序数据的数据挖掘就是挖掘时序数据中潜在群数据挖掘但若其

3、相异函数的选取不合适则得不的有用的知识目前时序数据的挖掘主要集中于时收稿日期修回日期作者简介郑斌祥男江西余江人博士生从事数据仓库和数据挖掘等研究席裕庚男上海人教授博士生导师从事复杂系统控制理论和智能机器人等研究第期郑斌祥等一种时序数据的离群数据挖掘新算法到满意的结果鉴于上述离群数据挖掘方法对于时序数据的离这里和代表时域信息为子序列离散傅群数据挖掘具有一定的局限性本文针对时序数据立叶变换的傅立叶系数的离群数据挖掘提出一种新的基于距离的时序数据离群数据挖掘方法并用该算法对某钢铁企业电根据的理论时域能量谱函数与频域力负荷时序数据进行了离群数据挖掘能量谱函数相同则有时序数据的离群数据挖掘本文对时序数据

4、的离群数据挖掘的目标为针即对时序数据发现数据中一部分与其余数据有明显不同的例外数据由于时序数据的长度一般较长因此时序数据经离散傅立叶变换由时域空间变换直接对整个时序数据进行离群数据挖掘其计算复到频域空间其距离保持不变于是可以考虑只选用杂性增大因此本文将时序数据的离群数据挖掘分傅立叶变换得到的前个系数并把这个系数看作为两步将时序数据依据应用要求划分为一系列从时间序列上提取的特征将时序数据的子序列映子序列用离散傅立叶变换将子序列时序数据从时射为维空间上的点域空间变换到频域空间根据的理论时域定义能量函数与频域能量函数相同且频域空间的大部对映射到维空间上的时序点本文提出一种分能量集中在前几个系数上因此

5、可以考虑只选用用作为衡量离群数据度量的离群数据定义傅立叶变换得到的前个系数把这些系数看作从定义对于有个数据点的集合任取时间序列上提取的特征于是从每个序列可获得且记为点与的点之间的距离个特征进一步将它们作为到维空间上的一个映对于中不包含点的数据点集合的按从射即将时序数据的子序列映射为维空间上的点小到大顺序排列得到序列这样即可保留时序数据的主要特征同时又降低了时序数据的维数减小了计算的复杂性针对维记序列中第个值为点的第个最近邻点与点的距离记为空间上的时序数据点采用一种新的离群数据的距定义对于集合中的所有点给定整数和离即用点的第个最近邻与点的距离作为衡量离群数据的度量基于将点的按从大到小顺序排列其中

6、的离群数据前个点为离群数据点距离定义对时序数据点进行近邻查询再根据离在以上定义中我们用群数据的定义搜索到的输入数据集合中前个作为衡量离群数据的度量最大的数据点即为离群数据点越大表示点邻域内的数据分布与已有的基于统计的和基于偏离的离群数据点离群程度越强如果用户感兴趣的离群数据点的挖掘算法相比本文提出的离群数据挖掘算法无需个数为而的数值一般较小易于设定时序数据确定数据点的概率分布模型或相异函数等而是直的离群数据挖掘主要是时序数据点的近邻查询接以离群数据点的第个最近邻与其距离作找到输入数据集合中前个最大的数据点为为衡量离群数据的度量从而克服了以往离群数据离群数据点挖掘算法的局限性本文基于定义和定义的

7、离群数据定义以欧几里德距离作为距离函数采用最小边界矩形时序数据的离散傅立叶变换进行离群数据挖掘这里是在某点的指给定一个时间序列将定范围内包含一系列点的最小矩形划分为互不重叠的子序列其中首先定义数据点与之间的最小距离和最大距离若记维空间的点为对的子序列进行离散傅立叶变换得维空间的最小边界矩形用其对角线上的顶点表示即且控制与决策第卷定义用表示维空间的点与如果将中最前面的点之间的距离即最小的值更新为返回