数理统计有关基础知识

第4章 数理统计的基础知识

数理统计与概率论是两个有密切联系的学科, 它们都以随机现象的统计规律为研究对象. 但在研究问题的方法上有很大区别：

概率论 —— 已知随机变量服从某分布, 寻求分布的性质、数字特征、及其应用;

数理统计 —— 通过对实验数据的统计分析, 寻找所服从的分布和数字特征, 从而推断整体的规律性. 数理统计的核心问题——由样本推断总体

从本章开始，我们将讨论另一主题：数理统计。

数理统计是研究统计工作的一般原理和方法的科学，它主要阐述搜集、整理、分析统计数据，并据以对研究对象进行统计推断的理论和方法，是统计学的核心和基础。

本章将介绍数理统计的基本概念：总体、样本、统计量与抽样分布。

由于大量随机现象必然呈现出它的规律性，因而从理论上讲，只要对随机现象进行足够多次观察，被研究的随机现象的规律性一定能清楚地呈现出来。但客观上只允许我们对随机现象进行次数不多的观察试验，也就是说, 我们获得的只是局部观察资料。

数理统计就是在概率论的基础上研究怎样以有效的方式收集、整理和分析可获的有限的, 带有随机性的数据资料, 对所考察问题的统计性规律尽可能地作出精确而可靠的推断或预测，为采取一定的决策和行动提供依据和建议.

§4.1 总体与样本

一、 总体与总体分布

1. 总体：具有一定的共同属性的研究对象全体。总体中每个对象或成员称为个体。

研究某批灯泡的质量，该批灯泡寿命的全体就是总体；考察国产 轿车的质量，所有国产轿车每公里耗油量的全体就是总体；某高校学习“高等数学”的全体一年级学生。

个体与总体的关系，即集合中元素与集合之间的关系。统计学中关心的不是每个个体的所有具体特性，而是它的某一项或某几项数量指标。某高校一年级学生“高等数学”的期末考试成绩。

对于选定的数量指标 X （可以是向量）而言，每个个体所取的值是不同的，这一数量指标X 就是一个随机变量（或向量）；X 的概率分布就完全描述了总体中我们所关心的这一数量指标的分布情况。数量指标X 的分布就称为总体的分布。

定义4.1 统计学中称随机变量（或向量）X 为总体，并把随机

变量（或向量）X 的分布称为总体分布.

说明

1. 表示总体的X 既可以是随机变量，也可以是随机向量 . 2. 有时个体的特性本身不是直接由数量指标来描述的. 例如 服装厂生产的各式服装，玩具厂生产的儿童玩具，检验部门通常将产品分成若干等级。

3. 总体分布就是设定的表示总体的随机变量X 的分布.

总体的分布一般来说是未知的，统计学的主要任务正是要对总体的未知分布进行推断。

二 样本与样本分布

定义4. 2 称(X 1, X 2, , X n ) 为总体X 的简单随机样本，若X 1, X 2, , X n 是独立同分布的随机变量，且与总体X 同分布，样本中所含分量的个数n 称为该样本的容量.

以下假定所考虑的样本均为简单随机样本，并简称为样本。 样本的双重理解

在未观察具体的抽样结果时，样本(X 1, X 2, , X n ) 视为随机向量. 观察具体的抽样结果后，样本便可理解为所得的一组具体的观察值(x 1, x 2, , x n ), 称为 样本值.

全体样本值组成的集合称为样本空间

, X n ) 的分布函数为 设总体X 的分布函数为F (x ), 则样本(X 1, X 2, F (x 1 ，x 2, , x n ) =∏F (x i ). 称之为样本分布.

i =1n

若总体X 为离散型随机变量，概率分布为p (x ) =P {X =x },x 取遍X 所有

可能值，则样本的概率分布为

p (x 1，x 2, , x n ) =P {X 1=x 1, X 2=x 2, , X n =x n }=∏p (x i ).

i =1n

例41 . 称总体X 为正态总体，如它服从正态分布. 正态总体是统计应用

中最 常见的总体. 现设总体X 服从正态分布N (μ, σ2), 则气样本密度由下式

给出：

n

1x -μ2

-(i ) }f (x i )

2σi =1

1n n

=exp{-2∑(x i -μ) 2}.

2σi =1 f (x 1，x 2, , x n ) = 例4.2 称总体X 为伯努利总体，如它服从以p (0

P {X =1}=p , P {X =0}=1-p .

其样本(X 1, X 2, , X n ) 的概率分布为：

{X =i , X =i , , X =i }=p s n (1-p)n -s n P 1122n n

其中i k (1≤k ≤n ) 取1或0，而s n =i 1+i 2+ +i n , 它恰等于样本中取值为

1的分量之总数. 例4. 3 设总体X 服从参数为λ的泊松分布，(X 1, X 2, , X n ) 为其样本，

则样本的概率分布为：

P {X 1=i 1, X 2=i 2, , X n =i n }=∏P {X =i k }

k =1

=∏

k =1n

n

λi

k

i k !

-λ

=

λs

n

i 1! i 2! i n !

e -n λ.

其中

i k (1≤k ≤n ) 取非负整数，而s n =i 1+i 2+ +i n .

三 统计推断问题简述

借助于总体X 的一个样本(X 1, X 2, , X n ) ，对总体X 的未知分布进行

推断，我们把这类问题统称为统计推断问题.

为利用样本对未知的总体分布进行推断，我们需要借助样本构造

样本的适当的函数，正是利用这些函数所反映的总体分布的信息来对

总体分布所属的类型，或总体分布中所含的未知参数作出统计推断.

§4.2 统计量

一、统计量的定义

定义3 设(X 1, X 2, , X n ) 为总体X 的一个样本，称此样本的任一不含 4.

总体分布未知参数的函数为该样本的统计量.

例4. 4 设总体X 服从正态分布，EX =5, DX =σ2, σ2未知.(X 1, X 2, , X n ) 为

总体X 的一个样本，令 S

S n =X 1+X 2+ +X n , X =n . n

则S 与X 均为样本(X , X , , X ) 的统计量.

n 12n n (X -5) 但若令 U =,

σ

则U 不是该样本的统计量，因U 的表示式中含有总体分布中的位置参数σ.

二、常用的统计量

设(X , X , , X ) 为总体X 的一个样本.

12n

1. 样本均值

称样本的算术平均值为样本均值，记为X , 即

1

X =(X 1+X 2+ +X n ) .

n

2. 样本方差

样本方差是用来描述样本中诸分量与样本均值的均方差异的，它有

两种定义方式。直观的： 1n 22 S =(X -X ) . 0i

n i =1

2并称S 为样本的未修正样本方差. 0

统计学中更常用另一种定义，即 n 21n 2

S 0=(X i -X ) 2. S =

n -1n -1i =1

并称S 2为样本的修正样本方差.

∑

∑

以后简称修正样本方差为样本方差.

3. 样本标准差

样本标准差S 定义为样本方差的算术平方根，即S =4. 样本原点距

1n

记 A k =∑X i k , k ≥1

n i =1

并称A k 为样本的k 阶原点距. 5. 样本中心距

1n

记 B k =∑(X i -X ) , k ≥1

n i =1

二阶中心矩即为未修正样本方差 并称B k 为样本的k 阶中心距.

一阶原点矩即为样本均值.

上述五种统计量可统称为样本的矩统计量，简称为样本矩. 他们皆可表为样本的显式函数。

6. 顺序统计量

设(X 1, X 2, , X n ) 为总体X 的一个样本. 将样本中的诸分量按由小 到大的次序排列成 X ≤X ≤ ≤X ,

(1)

(2)

(n )

则称(X (1), X (2), , X (n ) ) 为样本的一组顺序统计量，称X (i ) 为样本的第i 个

顺序统计量.

特别地，称X (1)=min(X 1, X 2, , X n ) 与X (1)=max(X 1, X 2, , X n )

分别为样本极小值与样本极大值，并称X (n ) -X (1)为样本的极差.

三、枢轴量

设(X 1, X 2, , X n ) 为总体X 的一个样本，需推断总体分布中某一未知 参数θ，构造一个样本函数

U (X , X , , X ; θ), 服从一个已知分布.

1

2

n

仅含一个未知参数，但其分布却已知的样本函数成为枢轴量。

22

例4. 5 设总体X N (μ, σ), 其中σ已知，μ未知，(X 1, X 2, , X n ) 为00

总体X 的一个样本，令

U =

§4.3 常用的统计分布

统计的目的就是借助从总体X 中随机抽取的样本(X 1, , X n ) ，构造相应的统计量（枢轴量），通过研究它们的分布来对未知的总体分布进行推断. 因此，本节将要补充统计学中经常用到的分布： χ 分布、Ｆ分布与 t 分布。

一、分位数

在统计推断中，经常用到统计分布的一类数字特征－分位数，在讲常用的统计分布之前，我们先给出分位数的一般概念和性质，这对于以后查阅常用统计分布表和解决第五章的有关参数的区间估计和假设检验的问题都是非常有用的.

１、上侧分位数定义

　　定义４４. 　设随机变量X 的分布函数为F (x ) ，对给定的实（０＜α＜１），如果实数F α满足 数α

　　　　　　 P 　=α, 　　　　　　 　(4.6){X ＞F α}　

即　　１-F (F α) =α　或　F (F α) =１－α　 　(4.７)

2

则称F α为随机变量X 的分布的水平α的上侧分位数. 或直接称为分布函数F (x ) 的水平α的上侧分位数.

2、上侧分位数的性质

(1) 若F (x ) 是严格单调递增的, 则 F α=F -1(1-α);(4.8)

(2)若X ~f (x ) , 则⎰

+∞

F α

f (x ) dx =α;

(4.9)(4.10)(4.11)

(3)若X ~N (0,1), 记水平α的上侧分位数为u α, 则1-Φ0(u α) =α, 即Φ0(u α) =1-α; (4)P {X ≤F 1-α}=α, P {F

1-

α

2

2

对于像标准正态分布那样的对称分布（密度函数为偶函数），统计学中还用到双侧分位数。

3、双侧分位数定义

定义4. 5设X 是对称分布的连续型随机变量，分布函数为F (x ) , 对于给定的实数α(0T α}=α, (4.12)即F (T α) -F (-T α) =1-α. (4.13)

则称T α为随机变量X 的分布的水平α的双侧分位数，也简称位分位数， 或直接称为分布函数F (x ) 的水平α的分位数.

4、双侧分位数的性质

由X 分布的对称性容易知道以下关系式成立：(1)F (T α) =1-

α

2

,

或

P {X >T α}=1-F (T α) =(2)(3)

T α=F α

α

2

(4.14)(4.15)(4.16)

F α=-F 1-α

5、上侧分位数和双侧分位数的例题

例4.6设X N (0,1),求水平α=0.05的上侧分位数和双侧分位数.

解：由于 P {X >u 0.05}=0.05, 所以 Φ0(u 0.05) =1-0.05=0.95,

查表可得 u 0.05=1.645.

而水平0.05的双侧分位数为u ，它满足Φ(u ) =1-0.025=0.975,

0.025

0.025

查表得 u 0.025=1.96.

2

χ二、 分布 2χ1、 分布的定义

定义

4. 6如果随机变量X 的密度函数为

n 1-1-x 1

f (x ) =n x 2e 2(4.18)

n 22Γ()

2

其中Γ(a ) =⎰x a -1e -x dx (a >0) 是Γ函数, 称X 服从

n 个自由度的χ2分布，记作X ~χ2(n ) .

对定义4.6的几点说明

+∞

1

(1)Γ() =Γ(a ) =(a -1)!(当a 是正整数时)

2

2n +12n -12n -31Γ() = Γ()(当n =1, 2, 时)

2222

1

(2)χ2(2)是λ=的指数分布.

2

(3)χ2(n ) (n ≥3) 的密度函数为单峰曲线，从原点开始递增，在

x =n -2处取得最大值，然后递减， 渐进于x 轴，关于x =n -2不对称. (4)χ2(1)的密度函数在x =0处取无穷大，以y 轴为 垂直渐进线

2、χ2分布的典型模式

题4.1设X 1, X 2, , X n 是n 个相互独立的随机变量, 且 命

2222X ~N (0,1), i =1,2, , n , 则X =X +X + X 服从 χ(n ) 分布. i 12n

2

3、χ分布关于自由度的可加性

命题4.2（）若1X ~χ2(m ), Y ~χ2(n ), 且X 与Y 相互独立，则

X +Y ~χ2(m +n ).

(2)若X ~χ2(n ), 则EX =n , DX =2n .

证明设 X 1, X 2, , X m +n 独立、服从标准正态分布.

2

(1)由于X ~χ2(m ) ，根据定义4.6与命题4.1, X 与X 12+X 22+ X m 同分布，Y 与222222X +X + X 同分步，再由X 与Y 独立知，X +Y 与X +X + X m +2m +n 12m +n m +1

同分布，所以X +Y ~χ2(m +n ) ．

(2)设X 1，X 2， ，X n 相互独立且均服从标准正态分布，

EX =E ∑X =∑EX =∑DX i =n .

2

i

2i

i =1

i =1

i =1

n

n

n

2222

由X ~χ(n ) 知X 与X +X + X 12n 同分布,

于是

4此外, 由于E [X i ]=3(见习题四(B)的第四题), 便知

D [X i 2]=E [X i 4]-(E [X i 2])2=3-1=2.

再因X 1，X 2， ，X n 相互独立, 即得

DX =D ∑X =∑DX i 2=2n .

2

i

i =1

i =1

n n

上述命题中第一个结论实际上说明χ2分布同正态分布一样具有可加性.

４、χ2分布的计算

由于χ2分布是常用的统计分布，但又难于利用其密度函数χ2(x , n )

进行直接计算，通常也为其制定了统计用表. 附表3中对自由度n ≤45

22

的χ分布给出了水平α的上侧分位数χα(n ) 之值.

当X ~χ2(n ) 时, 由(4.6)与(4.10)两式可以得到

2

P {X >χα(n )}=P {X

22

因为χ(x ; n ) 不是对称函数, 故对χ分布而言, 不存在双侧分位数,

但在以后统计推断中, 将用到等式 2 P ({X χα(n )})=α，22 2或P {χ2α(n )}

1-22

1-

2

例如, 设X χ(10),取水平α=0.05, 查表可知

P {X 18.307}=0.05, P {3.247≤X ≤20.483}=0.95.

当自由度n 充分大(如n >45) 时, χ2分布可近似地看作正态分布, 于是由正态分布的分位数可近似地求得χ2分布的分位数.

三、F 分布

1、F 分布的定义

定义4. 7如果随机变量X 的密度函数为

m 1-1-(m +n ) 1m m m f (x ; m , n ) =()(x ) 2(1+x ) 2

n B (, ) n n

22

1

(4.20)

p -1q -1其中B (p , q ) =x (1-x ) dx (p >0, q >0) 是B(贝塔) 函数, 称X ⎰0

服从第一自由度为m , 第二自由度为n 的F 分布， 记作X ~F (m , n ) .

对定义4.7的说明

F 分布的密度函数曲线也为单峰曲线，当第一自由度m ≥3时， m -2n 曲线在x *=处达最大值. 显见x *

m n +2

小于1处取到. 此外，不难看出，当两个自由度m 与n 都变得越来越

大时，x *接近1，从而函数曲线就在非常接近1的地方达到最高点.

图4.5给出了若干F 分布的密度函数曲线.

2 、F 分布的典型模式

命题4. 3设X χ2(m ), Y χ2(n ), 且X 与Y 相互独立， X

nX

记Z == Y mY

n

则Z 的密度函数为（4.20), 因此Z ~F (m , n ).

由命题4.3不难看出，若X ~F (m , n ) ，则X -1~F (n , m ).

3、F 分布的计算

P ({X F α(m , n )})=α

1-2

2

或P {F α(m , n )

1-2

2

例子：(1)对于较小的α，可以直接由附表4查出

F 分布的上侧分位数. 设X ~F (5,10), 查表4知 P {X >3.33}=0.05, P {X >4.24}=0.025.

又设Y ~F (10,5), 查表4知

P {Y >4.74}=0.05, P {Y >6.62}=0.025.

(2)当α接近于1时，可以利用下式求出所需的上侧分位数

1

F α(m , n ) =. (4.21)

F 1-α(n , m )

11

F 0.95(m , n ) =, F 0.975(m , n ) =.

F 0.05(n , m ) F 0.025(n , m ) 这样，当

X ~F (5,10)时，查表可知P {X

11=0.05, P {≤X ≤4.24}=0.95. 4.746.62

四、t 分布 1、t 分布的定义

定义4. 8如果随机变量X 的密度函数为

(4.23)

+1

x 2-n 2

t (x ; n ) =(1+) , -∞

n

称X 服从自由度为n 的t 分布，记作X ~t (n ) .

对定义4.8的说明

(1)t 分布的密度函数曲线也为单峰曲线，但关于y 轴对称，在

x =0处取到最大值. x 轴为其水平渐近线. 图4.6给出了自由度n =1,5,10, ∞时t 分布的密度函数曲线.

(2) 当自由度n 很大时，t 分布也接近于标准正态分布，这是

+11

-x 2 x 2-n 2

因为 lim(1+) =e 2.

x →∞n

n =∞时的t 分布的密度函数曲线，即为标准正态分布的密度函数 曲线，但比标准正态分布的尾部有更大的概率

.

2、t 分布的典型模式

（0，1）, Y χ2(n ), 且X 与Y 相互独立，记 命题4.4设X N

则T 的密度函数为（4.23), 因此T ~t (n ).

由命题4.4不难看出，若X ~F (1,n ) ~t (n ).

3、t 分布的计算

T =

附表5对于一些充分小的α值给出了t 分布的水平α的上侧分位数t α(n ) 之值. 由于t 分布具有对称的密度函数，当α接近1时，可按下式

求出相应的上侧分位数：

　t α(n ) =-t 1-α(n ).

(4.24)

因此，如X t (n ), 由(4.6),(4.10)与上式得：

P {X >t α(n )}=P {X t α(n )}=α.

例如，设X t (8)，取水平α=0.05, 查表可知t α(8)=1.860, t α(8)=2.306, 故有

P {X >1.860}=P {X 2.306}=0.05.

此外，由于自由度n 充分大时，t 分布近似于标准正态分布, 故有 t α(n ) ≈u α, 其中u α为标准正态分布的上侧分位数.

§4.4 抽样分布

总体的分布是未知的，或是部分未知的. 对总体的分布进行的统计推断称为非参数统计推断；对总体未知的重要数字特征（如总体数学期望、总体方差）或总体分布中所含的未知参数进行统计推断. 这类问题称为参数统计推断. 在参数统计推断问题中，经常需要利用总体的样本构造出合适的统计量（或枢轴量），并使其服从或渐近服从已知的确定分布。

统计学中泛称统计量（或枢轴量）的分布为抽样分布. 讨论抽样分布的途径有两个：一是精确地求出抽样分布，并称相应地统计推断为小样本统计推断；另一种方式是让样本容量趋于无穷，并求出抽样分布地极限分布；然后，在样本容量充分大时，可利用该极限分布作为抽样分布地近似分布，再对未知参数进行统计推断，因此称相应的统计推断为大样本统计推断. 本节重点讲述正态总体的抽样分布。

一、正态总体的抽样分布

上节讲述的三种常用的统计分布（χ2分布、F 分布和t 分布）为讨论

正态总体的抽样分布作了必要的准备. 不过，在一般地讨论正态分布的抽样分布以前，我们还需要正态总体抽样分布的一个基础性定理，那就是涉

及正态总体样本均值与样本方差的抽样分布的定理.

定理4.1设总体X ~N (μ, σ2), (X 1, X 1, , X n ) 是其容量为n 的一个

2样本，与S 分别为此样本的样本均值与样本方差，则有

(1)(2) (3)

N (μ, n -1

σ2

n

);

σ2

S 2 χ2(n -1);

与S 2相互独立.

证明结论（1）可以由一个重要性质（一组相互独立服从正

态分布的随机变量的非零线性组合仍然服从正态分布）得到. 讨论 (2)与（3）的严格证明需要用到关于多重积分的变量替换公式，此外还要利用正交矩阵的一些性质，数学推导的技巧性很强，故

此处省略，有兴趣的同学可以参考附录4.2.

有了上述关于正态总体的样本均值与样本方差的抽样分布的基础性定理，再结合上一节中的常用统计分布，就可以容易地构造单正态总体与双正态总体中样本的一些统计量（枢轴量）并使之服从确定的已知分布。

1、 单正态总体的抽样分布

　定理4. 2

设(X 1, X 2, , X n ) 为正态总体X ~N (μ, σ2) 的样本，

2与 S 分别为该样本的样本均值与样本方差，则

(1)U = N (0,1);

n -1

(2)2S 2 χ2(n -1); σ

t (n -1). (3)T =

证明结论(1)是定理4.1(1)的直接推论. 结论（2）已经由定

理4.1的（2）给出，再因为

T =

,

n -12

且由定理4.1知U 与2S 相互独立，故由本定理的结论(1)、（2）

σ

与命题4.4知T ~t (n -1) .

2、 双正态总体的抽样分布

在统计学的应用中，有时要比较两个正态总体的参数，下述定理为比较两个正态总体的参数提供了合适的统计量(或枢轴量) 。

2

定理4.3 设X ~N (μ1, σ12) 与Y ~N (μ2, σ2) 是两个相互独立的正态总体. 又设(X 1, X 2, , X n 1) 为总体X 的容量为n 1的样本，与S 12分

别为该样本的样本均值与样本方差. 再设(Y 1, Y 2, , Y n 2) 为总体Y 的容量 为n 的样本，与S 2分别为此样本的样本均值与样本方差. 记S 2是

2

2

22

S 1与

S 2的加权平均：

则有

S 2=

n 1-1n 2-12

S 12+S 2,

n 1+n 2-2n 1+n 2-2

(1)U =

N (0,1);

σ22S 12

(2)F =() 2 F (n 1-1, n 2-1);

σ1S 2

2

(3)当σ12=σ2=σ2时，

T = t (n 1+n 2-2).

二、一般总体抽样分布的极限分布

本小结将取消定理4.2中总体服从正态分布的条件，这时将不能

精确地导出样本函数U 与T 的分布函数的显式。于是，考虑当样本容量n 趋于无穷时，相应的分布函数是否存在极限分布？为此，首先需引入概率论中有别于依概率收敛的另一种收敛性概念，即依分布收敛的概念.

设F n (x ) 为随机变量X n 的分布函数，F(x ) 为随机变量X 的

分布函数，记C(F)为F(x ) 的全体连续点组成的集合，

F (x ) =F (x ), ∀x ∈C (F ) , 则称随机变量X 依分布收敛至X , 若lim n n

n →∞

或称分布函数F n (x ) 依分布收敛至F (x ) ，简记为

d

X −−→X n

或

d

F n (x ) −−→F (x ).

定理4.4 设(X 1, X 2, , X n ) 为总体X 的样本，并设总体X 的数学期望与方差均存在，分别记为EX =μ, DX =σ2. 再记

t (n -1) ,

其中与S 分别表示上述样本的样本均值与样本方差，

U n =

,

T n =

d d

则(1)F U n (x ) −−→Φ0(x ) , 　　(2)F T n (x ) −−→Φ0(x ).

以上F U n (x ) ，F T n (x ) 与Φ0(x ) 分别表示U n , T n 及标准正态分布的分布函数. 证明(1)由于 U n =

=

　　在总体X 的方差存在的前提下，由（林德伯格-勒维）中心极限定理，有

F U (x ) =lim P (U n ≤x ) =Φ0(x ), ∀x ∈R 1. lim n →∞n →∞

n

(2)证明略，有兴趣的同学可以参看附录4.3中的相关内容.

对定理4.4的说明

定理4.4的适用范围很宽泛，唯一的条件是总体的方差存在.

这样，当样本容量n 充分大时，U n 与T n 都近似地服从标准正态分布.

因此，如果总体的方差σ2已知，便可以利用枢轴量U n 近似地对

总体未知的数学期望μ进行统计推断. 如果σ2未知，便可以选用枢轴

量T n 近似地对μ进行统计推断.