剔除异常数据的几种统计检验方法

《剔除异常数据的几种统计检验方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、剔除异常数据的几种统计检验方法钱尚玮、一引言当,我们对一批观察(或试验)数据进行统计处理时如果该批数据混杂一两个异常的数,,,据就会给正确分析造成很大的影响以致使各种计算和结论的可靠性降低尤其当数据的总,。数不太大时会导致错误的结论造成明显地大于或小于其它观测值的所谓异常值的原因甚,,“”多但是否需剔除该异常值首先要从获取数据本身技术上的原因检查(如记录数据是否正确,),,观测或试验条件是否发生了变化如发现间题则将可疑值作为异常值予以剔。“”,除当技术上检查无法断定又非客观实情时就应通过数理统计中的剔除异常数据的检。验来处理,不仅在自然科学,工程技术学中要用到

2、,剔除异常数据的统计检验方法而且在社会科。学中也要用到:剔除异常数据检验统计上的提法是.,,Z,,。1若考察XX⋯X,,:,。,,,a“,=1,,设XX⋯X相互独立分别服从方差相同的正态分布N(件)i2,n。。:1=:==件了,:⋯针对基本假设H件拌⋯考虑如下三种对立假设I十:l=:==k_1=件k十l==拌。=卜H件件⋯卜⋯件k=妙+dd>0I·nH一卜l=件:二,’=卜、_1=件k十工==卜二拼⋯卜k二件+dd<0I:以1=:==一,=k+工==卜。=H卜⋯阳卜⋯件林、=件+dd子0,件k“卜+d,。其中d表示异常误差表示异常均值而d和k都是未知的因,,:

3、+,H,一H:,。此剔除异常数据的检验就是当对立假设为H或时对基本假设H的。。,、。检验如果H被否定则X即判为异常数据,:,:,,。,,:为了方便以后总是假设XX⋯X的顺序由小到大排列的即X(X《⋯《n,,X那么异常数据卜十卜、:;!,了/若H成立mk’Xl一若H成立.i;,2若考察2,⋯,mXi,,=,.,ia“,,,,n设毛Xj12”,N(协)i二12⋯m}来自正态总体相口匀飞月翎1,。

4、/n1-,i、。;二_一)且对不同的i和jX相互独立记贾名vIX‘~N(协9二、“飞i】,IU:,:,,。,;:。这时剔除异常数据可以相对XX⋯X来进行此时假设X簇X簇

5、⋯《X异常数据、ax;=,+尸夕‘t声mXX若H成立I一X一:一ni二a若H成立m1XXi二、检验方法,:1.Gro、L‘1[21仁31,剔除异常数据的统计检验方法有多种这里介绍三种bb检验.xon汇‘)r“丁工‘3,.r71f81。2Di检验3t一检验.1Grubb。检验这是Grobb,于1950年提出的检验某观测数据(或试验数据)是否为异常的一种功效较高。,。的方法按可疑异常数据的个数又分一个异常数据的检验和同侧有两个异常数据的检验A.一个可疑异常数据的Grubb,检验::。,,统计假设设X《X《⋯(X相互独立分别来自方差相同的正态总体孟,,,,,n,,。

6、N(林护)i=12⋯假设最小值x或最大值X明显地异于其它值时所检验的原假设(基本假设)。:x二2二=nH协卜⋯件相应的对立假设为,,:::=件。==。,H卜<件⋯拼,,。1=:=二n一,。H卜卜⋯拼<卜,,,,(卫,。。,。因此异常数据的检验就是当对立假设为HH)时对原假设H的检验如果H,:。应。被否定则X或X判为异常数据,。2,,:。,,Z统计t当卜均未知时根据考虑的是X簇X《⋯(X或X簇X(⋯气.X:分别为,:。,ru、;,。¹对X(X簇⋯《XGbb(1950)TT统计量一XX一T,,(X为可疑数据时。X一X。(X为可疑数据时S乙一n=乙n=XXi一X其中

7、反山1、。a::一Xrubb,(1950)T:(S)T(S)统计量º)对X(X《⋯簇G:=交X一Xl:T(S)(X为可疑数据时)S。。“X一X。T(S)(X为可疑数据时)Smi=mE一In_X一X=艺Xi其中一一X了气、r、矛,1—ni=1l12=Xs5乙一:VX)n一=11T1、。,“b)David—(1956))T(S)统计量Il_一z;,XX:T(S)一(X为可疑数据时)一。一。X一X。。,(XT(S)为可疑数据时),S‘,土一n兄n=一S

8、叭一mE二n111,2=、11一i其中S之一x。产一、艺(入X)1且i)z一一m()山1二1jIn1215-E(i

9、J一(Xm一1j=11):Z《n判定对X《X一(Xa>,n选定显著性水平0及数据个数。了.、了、几、、了、IJ。,。了、、夕、,1了.、>Ta.白,.,住,n11则否定H判定X为异常数据T。1:,:,:。(T则否定H不认为X为异常数据n。,。。T则否定H判定X为异常数据{:,,。,。。逗李则否定H不认为X为异常数据二a;nl。,。其中T()为统计量T和T的临界值由附表1给出。,:n,2))对又(又(⋯《又考虑统计量T、。(S)T(S)选定显著性水a>n,平。及样本个数lma;n,。,;。T‘S,>T()则否定H判定X为异常数据{成Tzn(a;n),则否定H,,

10、,,不认为X:为异常数据。」。(a,n