版本 0.2 结尾：抱歉，数理统计部分还没怎么在实践中用过，因此先简要地写一下，以后用到再补充w。版本 1.0 开头：这部分内容在《机器学习》的背景理论中用到了，所以我回过头来写一写。

推断统计学：对已取得的观测值进行整理、分析，作出推断、决策，从而找出所研究的对象的规律性。主要包括参数估计、假设检验、方差分析、回归分析。这一部分我觉得不是很容易（所以0开头的版本号都是摸鱼来着~），我只放一些我觉得用得上的，以后有需要再补充。

更新记录 2021.10.02 Ver0.0, 2021.11.09 Ver0.1, 2021.11.17 Ver0.2, 2022.11.15 Ver1.0

样本及抽样分布

1. 总体：\(X\)，样本：\((X_1,X_2,...,X_n)\)
   • 下面我们用的样本都是简单随机样本(independent and identically distributed, i.i.d.)：若样本中的每个个体与总体有相同的分布，样本个体相互独立，总体中的个体总数与样本容量满足\(\frac{N}{n}≥10\)，则这些样本可以看作是不放回抽样得到的。i.i.d. 蛮重要的！
   • 若总体 X 的分布为F(x)，则样本 \((X_1,X_2,...,X_n)\) 的联合分布为 \(\prod_{i=1}^{n}{F(x_i)}\). 这个乍看没啥用，其实后面最大似然法要用。
2. 样本的常用统计量
   • 设总体均值为 \(μ\)，方差为 \(σ\)。
   • 样本均值 \(\bar{X}=\frac{1}{n}\sum_{i=1}^{n}{X_i}\).
   • 样本方差 \(S^2=\frac{1}{n-1}\sum_{i=1}^{n}{(X_i-\bar{X})^2}\).
   • 重要结论：\(\langle X\rangle=\mu, var[X]=\frac{\sigma^2}{N}\).
   • 问：为什么样本方差除以样本容量减去1？样本的二阶中心矩是 \(S_n^2=\frac{1}{n}\sum_{i=1}^{n}{(X_i-\bar{X})^2}\)，为什么不直接用样本二阶中心矩作为方差？答：可以证明样本二阶中心矩的期望是 \(E(S_n^2)=\frac{n-1}{n}σ^2\)，并不是 \(σ^2\)（计算过程）。这是因为从总体抽样得到样本，我们在样本方差中采用的是样本均值，样本均值是总体均值的无偏估计，但是采用样本均值会使对总体方差的估计产生偏差，所以要采用无偏修正值（直观解释）。
3. 来自正态分布总体的常用抽样分布
   • 因为正态分布是最常见的总体分布，于是我们讨论正态分布总体的常用抽样分布。标准正态分布的 \(α\) 分位数是很简单很直观的东西。
   • 卡方分布（\(\chi^2(n)\)）、\(t\) 分布、\(F\) 分布，我只介绍我觉得有点用的卡方分布。其他分布在哪里使用呢？在下文的区间估计里，对于已知一个正态总体，分为均值和方差是否已知的情况，不同情况下要确定置信区间和置信度，则要用到这些奇奇怪怪的抽样分布。
   • 卡方分布 \(\chi^2(n)\)：若\(X\)~\(N(0,1)\)，则\(\sum_{i=1}^{n}{X_i^2}\)~\(\chi^2(n)\). 有表可查。也叫 Gamma 分布，在概率论这里后面这张图里出现过，泊松过程第 \(n\) 次事件出现的时间服从 Gamma 分布。

参数估计

参数估计：总体分布的某个参数未知，通过抽取出的样本去估计这个位置的参数。分为点估计和区间估计。

点估计

设总体 \(X\) 的分布函数的形式已知，但它的一个或多个参数未知，借助于总体 \(X\) 的一个样本来估计总体未知参数的值的问题。

1. 三种常用方法
   • 频率替换法：频率作为概率。
   • 矩估计法：用样本 \(k\) 阶矩作为总体 \(k\) 阶矩的估计量, 建立含有待估参数的方程, 从而解出待估参数。举例：总体期望的估计就是样本 \(1\) 阶原点矩，总体方差的估计就是样本 \(2\) 阶中心矩。
   • 极大似然估计法(Maximum Likelihood Estimate, MLE)（在机器学习里非常重要）：用我自己的语言试着写一下这个思想。对于总体的分布没有完整的认知(比如说知道服从某种分布，但分布的具体参数未知)，从测量中得到一些样本。写出得到样本的概率表达式，式中含有未知参数。求使实验中得到样本的概率取最大值的参数值(实操中就是取极值，即概率对参数偏导为 \(0\))。极大估计值可能不存在也可能不唯一。方法是粗略的，要知道估计值的准确性还要做区间估计。
     • 为什么 MLE 要使用 \(log\) 概率？我觉得有两点原因，首先 log 是单调函数，但这很 trivial，因为单调函数太多了。根本还是来源于我们的样本是“简单随机抽样”，相互独立，抽到这组样本的概率便是把抽到各个样本的概率相乘，而 \(log\) 可以把连乘转化为求和。
2. 估计量的评选标准
   • 无偏性：虽然得到的估计值与真实值不同，但估计值的期望与真实值一样。反复将这一估计量使用多次，就“平均”来说其偏差为零 -> 无系统误差。e.g., 样本 \(k\) 阶原点矩是对总体 \(k\) 阶原点矩的无偏估计；样本二阶中心矩就是对总体均值的有偏估计。
   • 有效性：如果在样本容量 \(n\) 相同的情况下，某一无偏估计量的观察值更密集在真值附近（方差更小），就更有效。e.g., 算术均值比加权均值有效（证明过程中用了方幂不等式，不难证明）。罗-克拉美不等式——达到方差下界的无偏估计量，没用过，以后用到再说。
   • 一致性/相合性：随着样本容量的增大，一个估计量的值稳定于待估参数的真值。e.g., 一般矩法得到的估计量是一致估计量。e.g., 一般极大似然估计具有一致性（这句话没搞懂）。

区间估计

这部分又长又臭，目前确实没有很明确地用到，所以在这里简单解释一下。

用点估计估计出一个值，这个值估计得有多靠谱呢？例如，我们可以确定真值就在估计值上下一个范围内的概率是多少。一般来说我们如果需要真值在范围内的把握比较大，这个范围会相对大些；我们想要一个小范围得到好的精度，我们就不那么确定真值真的在这个范围里……

假设检验

若对参数一无所知，用参数估计的方法处理。若对参数有所了解，但是怀疑猜测需要证实的时候，用假设检验的方法来处理。

假设检验的结果：拒绝或接受假设。假设检验的理论依据：小概率原理。

假设我认为总体分布有某种特征(果蝇大部分是白眼)。从总体中抽取一些样本，抽取出的样本是这种结果居然是一间概率非常小的事（\(100\) 只果蝇里抽出来的 \(5\) 只全都是红眼）！于是我深刻怀疑之前对于总体分布特征的认知是错误的(大概果蝇大部分还是红眼)。概率意义下的反证法

依赖于样本值的判断是可能出错的。弃真错误/第一类错误概率一般取为 \(α\)，取伪错误/第二类错误概率一般取为 \(β\)。假设检验的指导思想是控制 \(α\)，然后若有必要，则通过增大样本容量的办法控制 \(β\)。通常把有把握的、有经验的结论作为原假设，或者尽可能使后果严重的错误成为第一类错误。

总体均值、均值差的检验

一个正态总体关于均值的检验。若方差已知，用 \(U\) 检验法，构造服从 \(N(0,1)\) 分布的统计量检验。若方差未知，用 \(t\) 检验法，构造服从 \(t(n-1)\) 分布的统计量检验。

两个正态总体检验均值差。

总体方差、方差比的检验

一个正态总体关于方差的检验。若均值已知，用 \(\chi^2\) 检验法，构造服从 \(\chi^2(n)\) 分布的统计量检验。若均值未知，构造服从 \(\chi^2(n-1)\) 分布的统计量检验。

两个正态总体检验方差比。

在总体的分布函数完全未知或只知其形式、但不知道其参数的情况，为了推断总体的某些未知特性，提出某些关于总体的假设。我们要根据样本对所提出的假设做出是接受，还是拒绝的决策。

方差分析

只讲了单因素试验的方差分析。

研究燃料种类 \(A_j,(j=1,2,...,s)\) 对于火箭射程 \(X\) 的影响是否显著。每种燃料 \(A_j\) 做实验，分别得到一些样本 \(X_j\)，每组 \(n_j\) 个样本，所有组共 \(n\) 个样本。认为 \(X_j\)~\((N,σ^2)\)（我们假定方差相同），检验每种燃料的均值 \(μ_j\) 是否相同（假设\(H_0\)：相同）。

构造

• 总离差平方和\(S_T\)：反映了全部实验数据的波动大小。
• 误差平方和\(S_E\)：主要反映了由于随机误差而引起的数据波动大小。无论假设是否成立，\(\frac{S_E}{\sigma^2}\) ~ \(\chi^2(n-s)\)
• 效应平方和\(S_A\)：主要反映了的不同水平而引起的数据波动大小。只有假设成立时，才有\(\frac{S_E}{\sigma^2}\) ~ \(\chi^2(s-1)\)
• \(S_T=S_E+S_A\).

对于给定的显著性水平，拒绝域是 \(\frac{S_A/(s-1)}{S_E/(n-s)}>F_\alpha(s-1,n-s)\)。

回归分析

课堂上就完全没讲了。大概是我最近一年需要做的工作hhh。好的，课堂涉及的内容我大概没有烂尾地写完了。第三轮复习果然还是比第二轮强不少。