贝叶斯统计学习报告
在教员的安排下，这段时间我学习了贝叶斯统计方法，现将这段时间的学习情况汇报如下：
贝叶斯统计与经典统计理论的联系与区别
统计学中有两个主要学派：频率学派与贝叶斯学派，他们之间有共同点，又有不同点，为了说清楚他们之间的异同点，我从统计推断所使用的三种信息说起。
部体信息
总体信息即总体分布或总体所属分布族给我们的信息，譬如：“总体是正态分布”这一句话就给我们带来很多信息：它的密度函数是一条钟形曲线；它的一切阶矩都存在；有关正态分布可以导出 分布、t分布和F分布等重要分布；还有许多成熟的点估计、区间估计和假设检验方法可供我们选用。
样本信息
样本信息即从总体抽取的样本给我们提供的信息。这是“新鲜”的信息，并且愈多愈好。人们希望通过对样本的加工和处理对总体的某些特征作出较为精确的统计推断。没有样本就没有统计学可言。
基于上述两种信息进行的统计推断被称为经典统计学，它的基本观点是把数据（样本）看成是来自具有一定概率分布的总体，所研究的对象是这个总体而不局限于数据本身。
现在回到我们讨论的问题上来，除上述两种信息外，在我们周围还存在第三种信息――先验信息，它也可用于统计推断。
先验信息
先验信息即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。先验信息在日常生活和工作中也经常可见，不少人在自觉地或不自觉地使用它。下面举几个例子：
例1：一位常饮牛奶茶的妇女声称，他能辨别先倒进杯子里的是茶还是牛奶。对此做了十次试验，她都能正确地说出了。
例2：一位音乐家声称，他能从一页乐谱辨别出是海顿还是莫扎特的作品。在十次这样的试验中，他都能正确辨别。
在这两个统计试验中，假如认为实验者是在猜测，每次成功的概率为0.5，那么十次都猜中的概率为2-10＝0.0009766，这是一个很小的概率，是几乎不可能发生的，所以“每次成功概率为0.5”的假设应被拒绝。被实验者每次成功概率要比0.5
基于上述三种信息进行的统计推断被称为贝叶斯统计学。它与经典统计学的主要差别在于是否利用先难信息。其基本观点是：任一个未知量θ都可看作一个随机变量，应用于一个概率分布去描述对θ的未知状况。这个概率分布是在抽样前就有的关于θ的先验信息的概率陈述。这个概率分布被称为先验分布。
贝叶斯公式
贝叶斯公式的密度函数形式
贝叶斯公式的事件形式在初等概率中都有叙述，这里用随机变量的密度函数再一次叙述贝叶斯公式，从中介绍贝叶斯学派的一些具体想法。
依赖于参数θ的密度函数在经典统计中记为p(x; θ)或pθ(x)，它表示在参数空间Θ＝{θ}中不同的θ对应不同的分布。可在贝叶斯统计中记为
根据参数θ的先验信息确定先验分布π（θ）。这是贝叶斯学派最近几十年里重点研究的问题，
从贝叶斯观点看，样本x=(x1,…, xn)的产生要分两步进行。首先设想从先验分布π（θ）产生一个样本θ，这一步是“老天爷”做到的，人们是看不到的，故用“设想”二字。第二步是从总体分布p(x|θ)产生一个样本x=(x1,…,
p(x|θ)＝p(
这个联合密度函数综合了总体信息和样本信息，常称为似然函数，记为L(θ')。频率学派和贝叶斯学派都承认似然函数，两派认为：在有了样本观察值x=(x1,…, xn)后，总体和样本中所含θ的信息都被包含在似然函数L(
4、由于θ'是设想出来的，它仍然是未知的，它是按先验分布π（θ）而产生的，要把先验信息进行综合，不能只考虑θ'，而应对θ的一切可能加以考虑。故要用π（θ）参与进一步综合。这样一来，样本
h(x, θ)=p(x|θ) π（θ）
把三种可用的信息都综合进去了。
我们的任务是要对未知数θ作出统计推断。在没有样本信息时，人们只能据先验分布对θ作出推断。在有样本观察值x=(x1,…, xn)之后，我们应该依据h(x, θ)对θ作出推断。为此我们需把h(x, θ
h(x, θ)=π(θ｜x)m(x)
其中m(x)是x的边缘密度函数。
m(x)=θh(x,θ)
它与θ无关，或者说，m（x）中不含θ的任何信息。因此能用来对θ作出推断的公是条件分布π（θ｜x）。它的计算公式是
π（θ｜x）＝h(x)m(x)=p(x|θ) π
这就是贝叶斯公式的密度函数形式。这个在样本x给定下，θ的条件分布被称为θ的后验分布。它是集中了总体、样本和先验等三种信息中有关θ的一切信息，而又是排除一切与θ无关的信息之后所得到的结果。故基于后验分布π（θ｜x）对θ进行统计推断是更为有效，也是最合理的。
在θ是离散随机变量时，先验分布可用先验分布列π（θi），i＝1，2，…表
π（θi｜x）＝p(x|θi) π（θi）j
假如总体X也是离散的，那只要把(1.1)或(1.2)中的密度p(x|θ)看作为概率函数P(X=x|θ)即可。
用后验期望θ估计θ
设θ的后验密度为h(θ|X)，θ的后验期望为：
θ＝E（θ｜X）＝θ
用θ＝E（θ｜X）去估计θ是一个很自然的想法。
最大后验估计
定义：设θ的后验密度为h(θ|X)，我们寻求θ使其满足条件：h(θ|X)＝max，并称θ
计算：（1）当h(θ|X)容易计算时，解方程
（2）一般情况：由于。的最大值与h(θ|X)的最大值等价，可解方程来求最大后验估计量。
与经典估计不同，贝叶斯估计假设所估计的参数θ是一个随机变量，我们估计的是它的一次实现。
与经典估计不同，在那里最小约束一般得不到可实现的估计器，因为θ是确定量时，它不参与概率空间的运算，即
解如上方程，一般得到：，估计器中包含待确定量，所以是不可实现。
现在讨论贝叶斯估计问题，现在，θ是随机变量，它是概率空间的一个分量，
求对θ求导且令为0，得到θ＝g(x0)，具体计算如下：
因为p(x)≥0对所有x，故欲使最小，令最小，即
得到：
这是最小MSE贝叶斯估计器，在计算时，经常利用关系式：
（3）高斯情况：
如果x和y是联合高斯，x是k*1，y是f*1矢量，均值矢量为，分块协方差矩阵
则条件PDF：p(y|x)也是高斯的，且有：
这里若y是待估计参数θ，x是数据矢量，（3）式就是贝叶斯估计，（4）式就是估计方差的表达式。
贝叶斯统计的应用与发展
贝叶斯方法在可靠性分析中有着重要的庆用。数据少是可靠性分析的特点，由于可靠性分析的对象大多是精密、贵重的仪器设备，试验费用大，样本量小到甚至只有一、二次的试验结果，在这种情况下去分析设备的可靠性指标，须尽可能地搜集、综合各种验前经验，整理、推导出参数的先验分布。由前述看到，先验分布的确定不是凭空捏迁的，而是通过正常的逻辑思维获得的。先验分布的使用，成为验后样本量不足的合理的补充。
在决策分析中，考虑一种新产品的销路，分畅销、一般及滞销三种情形，不同的人因数为各自经验等方面的原因，对此会作出不同的估计，形成新产品销路三种情形的主观概率。可见在人们现有知识、经验条件下，主观概率是人们带有主观成分的对事物尽可能的客观性判断，实验它不等同唯心论。
量子力学里最根本的概念就是用波函数ψ描述的概率幅，最基本的规律就是概率幅叠加的规则，所谓微观粒子的波粒二象性，就是，由大量测量事件显示出来的一种按|ψ|2的概率分布。在对物质世界的微观领域的探索中，物理参数呈现出一事实上的随机性，受科学实验的制约及实验对实验对象的影响，以及微观粒子的大量存在性，这为贝叶斯统计在物理参数估计等方面提供了应用空间。
贝叶斯统计和频率统计都服从柯尔莫哥洛夫提出的经公理体系，运用概率论知识进行其理论推导。先验分布的确定体现了贝叶斯统计的特色，使贝叶斯统计成为处理实际问题的简明有交效的方法。面向实际，突出实效也是贝叶斯统计生命力之所在。