辛几何&李代数

澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站异常数据的剔除与遗失数据的弥补

异常数据的剔除与遗失数据的弥补

在处理实验数据的时候,我们常常会遇到个别数据偏离预期或大量统计数据结果的情况,如果我们把这些数据和正常数据放在一起进行统计,可能会影响实验结果的正确性,如果把这些数据简单地剔除,又可能忽略了重要的实验信息。这里重要的问题是如何判断异常数据,然后将其剔除。判断和剔除异常数据是数据处理中的一项重要任务,目前的一些方法还不是十分完善,有待进一步研究和探索。 ... 澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站阅读全文

在处理实验数据的时候,我们常常会遇到个别数据偏离预期或大量统计数据结果的情况,如果我们把这些数据和正常数据放在一起进行统计,可能会影响实验结果的正确性,如果把这些数据简单地剔除,又可能忽略了重要的实验信息。这里重要的问题是如何判断异常数据,然后将其剔除。判断和剔除异常数据是数据处理中的一项重要任务,目前的一些方法还不是十分完善,有待进一步研究和探索。

目前人们对异常数据的判别与剔除主要采用物理判别法和统计判别法两种方法。

所谓物理判别法就是根据人们对客观事物已有的认识,判别由于外界干扰、人为误差等原因造成实测数据偏离正常结果,在实验过程中随时判断,随时剔除。

 

统计判别法是给定一个置信概率,并确定一个置信限,凡超过此限的误差,就认为它不属于随机误差范围,将其视为异常数据剔除。

澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站 第一节  拉依达准则

如果实验数据的总体x是服从正态分布的,则

异常数据的剔除与遗失数据的弥补

式中,μ与σ分别表示正态总体的数学期望和标准差。此时,在实验数据中出现大于μ+3σ或小于μ—3σ数据的概率是很小的。因此,根据上式对于大于μ+3σ或小于μ—3σ的实验数据作为异常数据,予以剔除。

具体计算方法如下:

对于实验数据x1, x2, x3,……xn先计算其均值

 异常数据的剔除与遗失数据的弥补

i=1,2,3,n

再计算残差

异常数据的剔除与遗失数据的弥补

则标准差

异常数据的剔除与遗失数据的弥补

如果某个测量值异常数据的剔除与遗失数据的弥补的残差满足

异常数据的剔除与遗失数据的弥补

则认为xd异常数据,予以剔除

 

拉依达准则是最常用的异常数据判定与剔除准则

第二节  肖维勒准则

如果某个测量值 异常数据的剔除与遗失数据的弥补的残差满足

 异常数据的剔除与遗失数据的弥补

 

xd被视为异常数据,予以剔除。上式中,wn可查表得到。其中,残差vd和标准差σ的计算方法同上。

第三节  格拉布斯准则

对于服从正态分布的实验数据:

 x1, x2, x3,……xn

将实验数据按值的大小排成顺序统计量:

 x(1),x(2), x(3),……≤x(n)

格拉布斯导出了

  异常数据的剔除与遗失数据的弥补

    的分布。取置信度α,可得T0(n, α),

  异常数据的剔除与遗失数据的弥补

    如果

  异常数据的剔除与遗失数据的弥补

则认为xd为异常数据,应予剔除

T0(n, α)的值可查表得到

T0(n, α)值表

异常数据的剔除与遗失数据的弥补 

异常数据的剔除与遗失数据的弥补 

采用格拉布斯方法判定异常数据的过程如下:

1. 选定危险率α

α是一个较小的百分数,例如1%2.5%5%,它是采用格拉布斯方法判定异常数据出现误判的几率。

2. 计算T

如果x(1)是可疑数据,则令

异常数据的剔除与遗失数据的弥补

如果x(n)是可疑数据,则令

  异常数据的剔除与遗失数据的弥补

其中

 异常数据的剔除与遗失数据的弥补

异常数据的剔除与遗失数据的弥补

3. 根据nα,查表得到T0(n, α)值

4. 如果T≥T0(n, α),则所怀疑的数据是异常数据,应予剔除。如果T< T0(n, α),则所怀疑的数据不是异常数据,不能剔除。

 

采用此法判异常数据产生误判的几率为α

第四节  狄克逊准则

狄克逊准则是通过极差比判定和剔除异常数据。与一般比较简单极差的方法不同,该准则为了提高判断效率,对不同的实验量测定数应用不同的极差比进行计算。该准则认为异常数据应该是最大数据和最小数据,因此该其基本方法是将数据按大小排队,检验最大数据和最小数据是否异常数据。具体做法如下:

 

将实验数据xi按值的大小排成顺序统计量

x(1),x(2), x(3),……≤x(n)

按表1-3-1计算f0值,然后根据表1-3-1f0f(n,a)进行比较,如果

 f0 > f(n,a)

    则判定该数据为异常数据,予以剔除。

1-3-1   狄克逊系数f(n,a)f0的计算公式

 

异常数据的剔除与遗失数据的弥补

第五节  t检验准则(罗马诺夫斯基准则)

t检验准则与狄克逊准则相似,也是检验最大实验数据和最小实验数据。首先将实验数据按大小排列

 x(1),x(2), x(3),……≤x(n)

对最小数据和最大数据分别进行检验,如果

  异常数据的剔除与遗失数据的弥补

   

     异常数据的剔除与遗失数据的弥补

x(1)x(n)是异常数据,应予剔除。

式中异常数据的剔除与遗失数据的弥补 异常数据的剔除与遗失数据的弥补 分别为不包括x(1)x(n)的均值和标准差。即

 

 异常数据的剔除与遗失数据的弥补

 异常数据的剔除与遗失数据的弥补

 

澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站t检验中的K(n,α)可查表得到。

第六节  遗失数据的弥补

在一些情况下,每个实验点都是经过精心设计选择的,此时每个实验数据都是十分重要的。但是,如果不慎遗失了某些实验数据,或某些实验操作失误缺少了某些实验数据,该如何处理呢?当然最好的办法是补做这些实验。但是,本节要介绍的是一种特殊情况——实验数据遗失,而又无法补做实验时的处理方法,也就是如何用数学的方法来弥补遗失的实验数据。

这里方法主要有两种:

一、当实验数据有重复,并且每一批实验至少有一个数据没有遗失时,可以用未遗失的数据的平均值代替遗失的数据。

1-3-2所示为一组实验数据,其中ab为遗失的数据,现在我们来弥补这两个数据:

1-3-2  有重复实验数据的弥补

   异常数据的剔除与遗失数据的弥补

异常数据的剔除与遗失数据的弥补 =(1.5+2.4+3.5+3.3+2.2+2.1)/6=2.5

异常数据的剔除与遗失数据的弥补 =(1.2+1.4+1.2+1.3+1.6+1.5)/6=1.37

这样我们就得到了遗失数据的估计值。

二、如果没有重复 数据得实验,则用下法弥补:

1-3-3所示为一组实验数据,其中ab为遗失的数据。与表1-3-2不同的是,这组数据没有重复数据。现在我们来弥补这两个数据:

1-3-3  没有重复实验数据的弥补

异常数据的剔除与遗失数据的弥补

  异常数据的剔除与遗失数据的弥补

则总离差平方和

LT=3.522.322.02a2+2.02+1.92+2.02+1.52+1.22+1.42+b2+0.32-c

组间离差平方和

LA=[7.82+(3.9+a)2+4.72+(1.7+b)2]/3 - c

LB=[(6.9+a)2+(5.8+b)2+5.42]/4 – c

剩余离差平方和

Le= LT- LA- LB

合理的ab值应使剩余离差平方和Le最小,因此,我们的任务是求得Le最小时的ab值。为此。对Le求偏导数,并令其等于零:

异常数据的剔除与遗失数据的弥补

可求得

a=2.95

b=0.53





澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站收起全文

澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站这是范儿

澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站招兼职小编几枚,来不?

招小编几枚,联系我吧~ 找小编几枚,要求: 1.会简单的使用Photoshop。 2.有文字功底。(比如让你描述一款服装的设计亮点、好在哪里) 3.审美要高(服装、图片). 4.你要是一枚淘宝购物控。 联系QQ1546645904... 澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站阅读全文

招小编几枚,联系我吧~

找小编几枚,要求:

1.会简单的使用Photoshop。

2.有文字功底。(比如让你描述一款服装的设计亮点、好在哪里)

3.审美要高(服装、图片).

4.你要是一枚淘宝购物控。

联系QQ1546645904

澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站收起全文

辛几何&李代数

dla澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站像素衍射临界光圈

dla像素衍射临界光圈

所谓DLA,指Diffraction Limited Aperture,字面直译应该叫做&衍射极限光圈&,不过撞针觉得要做到严格界定,发扬汉语所长,应该称做&像素衍射临界光圈&。 简单的说,当镜头光圈小于某数码相机的&像素衍射临界光圈&时,该相机成像元件的像素点将受到衍射的影响,逐点的分辨率下降。某网站给出的DLA:EOS 50D&&f/7.6EOS ... 澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站阅读全文

所谓DLA,指Diffraction Limited Aperture,字面直译应该叫做“衍射极限光圈”,不过撞针觉得要做到严格界定,发扬汉语所长,应该称做“像素衍射临界光圈”。

 

简单的说,当镜头光圈小于某数码相机的“像素衍射临界光圈”时,该相机成像元件的像素点将受到衍射的影响,逐点的分辨率下降。

 

某网站给出的DLA:

EOS 50D——f/7.6

EOS 450D——f/8.4

EOS 1000D——f/9.3

EOS 400D——f/9.3

EOS 40D——f/9.3

EOS 30D——f/10.3

EOS 20D——f/10.3

EOS 5D Mark II——f/10.3

EOS 1DS Mark III——f/10.3

EOS 350D——f/10.4

EOS 1D Mark III——f/11.4

EOS 1DS Mark II——f/11.6

EOS 300D——f/11.8

EOS 10D——f/11.8

EOS 1D Mark II N——f/12.7

EOS 1D Mark II——f/12.7

EOS 5D——f/13.2

但该站站长比较吝啬,没解释,给机会撞针就好为人师一下咯。

 

这里涉及三个概念,衍射、衍射极限和Rayleigh判据。

 

dla像素衍射临界光圈  
光的衍射(Diffraction)指光在传播路径中,遇到障碍物或小孔(狭缝)时,偏离直线绕过障碍物继续传播的现象。

 

光经过圆形口径后成像,并不会汇聚成绝对的点,而是形成明暗相间,距离不等的同心圆光斑,其中中央斑最大,集中了84%的能量,可以看作衍射扩散的主要部分,被称为Airy Disc(爱里斑)。

 

衍射极限(Diffraction Limit)是指不考虑光学系统几何像差,一个完美光学系统的分辨率仅受衍射(光波波长)限制的情况。

 

Rayleigh判据:如果两个相邻点形成的Airy Disc的角距离小于一个Airy Disc角距离时,这两个点无法分辨。翻译成人话就是如果两成像点(其实是两个斑点)混到一块的时候,自然就分不清了。因此对于光圈为圆形或类圆形的镜头,其衍射极限分辨率就是Airy Disc的直径。

dla像素衍射临界光圈

如果Airy Disc等于数码相机成像元件单个像素尺寸,成像元件的分辨率等于镜头衍射极限分辨率,相机能够充分利用镜头的衍射极限分辨率。如果Airy Disc大于数码相机成像元件单个像素尺寸,则衍射极限分辨率成为瓶颈,成像元件的分辨率无法发挥——用一个像素点分辨一个成像点和十个像素点分辨一个成像点有啥区别?

dla像素衍射临界光圈

衍射极限公式是sinθ=1.22λ/D。其中θ是角分辨率,λ是波长,D是光圈直径。当θ很小时,sin澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站 θ约等于tagθ,约等于d/f,其中d是最小分辨尺寸,f是焦距。

 

推导出d/f=1.22λ/D, 推导出f/D=d/1.22λ。f/D就是焦距:光圈直径,这是啥?光圈f/值啊!

 

A=d/(1.22λ)。A是光圈f/值。当d等于成像元件像素点尺寸p时,A就是像素衍射临界光圈。

 

DLA=p/(1.22λ),也就是:

 

Diffraction Limited Aperture=pixel size/(1.22x light wavelength)

 

像素衍射临界光圈=像素尺寸/(1.22x光波波长)

 

所以,像素衍射临界光圈与像素大小(或者说像素数以及成像元件面积)有关。像素数越高也,像素衍射临界光圈越小;成像面积越大,像素衍射临界光圈越大;总之像素密度越大,越不适合用小光圈。

 

另外光的波长λ越小,像素衍射临界光圈越小(f/值越大)。自然光是混合光,可见光波长为380nm-780nm,咱以顺眼的蓝绿色波长(500nm)计算,结果与某网站基本一致。如果用更精确的sinθ以及像素尺寸数据,结果会略有差异。

 

最后想起了一篇专访,Canon表示,随着数码单反像素的增长,少数镜头已经不能满足新型号单反机身的要求。不妨看看50D,对红色波长来说,其像素衍射临界光圈已经只有f/5左右,而很多变焦镜头长焦端最大光圈只有f/5.6,成为影响50D发挥的因素之一。对于高像素小DC来说,设计小光圈也已经有困难。对1470万像素的小DC,撞针不敢多算。

 

最后,撞针一定要提醒:不是说小于衍射临界值的光圈就不可用!!!

 

像素衍射临界光圈确实影响成像,但也只是影响成像的诸多因素之一,对成像的影响也是随着光圈收缩逐级增加的,大量测试证明了这一点。重要的问题是,还需要兼顾景深的要求、兼顾快门的要求,需要小光圈的时候,就应该用小光圈。撞针的老话:成像只能拍第三!

澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站收起全文

澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站★·°遇見、堇色年華 ﹏

澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站【十里桃花】止

【十里桃花】止

吃饭喝酒/ 想你比酒上头/ 说不出的爱比酒呛喉/ 所以我为什么喝酒/ 你不在身侧/ 情不停留/ 天南海北的走/ 夜在尽时的收/ 你是皱眉的皱/ 不是止愁的休/... 澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站阅读全文

【十里桃花】止

吃饭喝酒/

想你比酒上头/

说不出的爱比酒呛喉/

所以我为什么喝酒/

你不在身侧/

情不停留/

天南海北的走/

夜在尽时的收/

你是皱眉的皱/

不是止愁的休/

澳门金沙官网网址_澳门金沙开户注册_澳门金沙平台网站收起全文
X
Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ Žɳַ_Žɳע_Žɳƽ̨վ

¼8f00b204e9800998