ML法是什么

极大似然估计法。

极大似然估计法（ML）是结构方程分析最常用的方法，ML方法的前提条件是变量是多元正态分布的。数据的非正态性可以通过偏度（skew）和峰度（kurtosis）来表示。偏度表示数据的对称性，峰度表示数据平坦性的。

ML法的特点

结构方程分析可同时考虑并处理多个因变量。在回归分析或路径分析中，即使统计结果的图表中展示多个因变量，在计算回归系数或路径系数时，仍是对每个因变量逐一计算。

所以图表看似对多个因变量同时考虑，但在计算对某一个因变量的影响或关系时，都忽略了其他因变量的存在及其影响。

态度、行为等变量，往往含有误差，也不能简单地用单一指标测量。结构方程分析容许自变量和因变量均含测量误差。变量也可用多个指标测量。

用传统方法计算的潜变量间相关系数与用结构方程分析计算的潜变量间相关系数，可能相差很大。

当利用混合效应建模时，你会遇到诸如 REML 和 ML 这样的词汇。不像线性回归模型，就算你不知道背后的数学理论也可以照样使用。但是在混合效应建模中，你必须懂得一些相关的数学知识。所以REML是什么意思？它能干什么？

第一个问题比较简单，REML限制性最大似然估计英文首字母的缩写。但是对于第二个问题，大多数教材在这点上就变得相当专业，或者解释得比较粗略，只是提到它是 矫正自由度 的一个神秘方法【ML没有考虑到估计固定效应带来自由度的损失，造成参数的低估】 [1] 。而我们则选择尝试更为详细地解释它，所以需要利用矩阵代数的知识。但是为了理解REML，首先需要理解最大似然估计的原理，我们从这儿开始。如果你不熟悉矩阵代数，或者如果这一部分对数学水平的要求太高，我们仍建议你跳过这一部分。

我们首先回顾用于线性回归的最大似然，然后给出REML是如何用于矫正方差估计量的。

假设有一个线性回归模型

，其中 。模型中有3个未知参数 、 和 。为了简便，令 。普通最小二乘是估计 的一个方法，它给出 中每一个元素的表达式。利用线性回归获取方差估计的表达式是：

我们给参数加了一个帽子^，表示它是估计值， 是观测值的个数。可以证明 是 的无偏估计，意味着 。现在让我们看一看最大似然估计方法。假设 服从正态分布，其密度函数为：

因为我们也假设了 是独立的，可以将 的联合密度函数写成单个密度曲线 乘积的形式。这个乘积就叫做 似然函数L 。它是数据和 的一个函数。问题是如何选择 使L最大。为了简化，对L取自然对数，得到如下的log似然方程式：

我们需要最大化这个式子，问题就变成了对每一个参数偏导，令偏导数=0并求解。因为我们很容易计算，这些偏导数=0的式子称之为 封闭解 。对于广义线性混合模型我们将会看到 开放解 ，意思是参数没有直接的解。

这里没有给出 和 估计量的式子，但对于方差我们得到：

注意这个式子与我们利用普通最小二乘得到的式子（5.14）非常相似。实际上，受到因子 的影响，利用最大似然得到的方差估计量是有偏的（ 回归分析为什么误差方差中自由度是n-2？ ）。如果线性回归模型含有 p 个解释变量，那么偏度是 。 最大似然是有偏的的原因是它忽略了截距和斜率也被估计的事实。所以我们需要更好的ML估计量，而这正是REML所做的事情 。

REML的工作如下：有线性回归模型 可以写成 。这是简单的矩阵形式， ， 的第一个元素是截距，第二个元素是原始的 。正态性假设意味着

用ML估计量的问题是我们不得不估计式子5.18中 中的截距和斜率。显然，如果没有 ，就能解决问题。为了消除 ，可以找到一个维度 的特殊矩阵 ，特殊指的是“与 正交”，然后用这个矩阵乘以 之后再用ML估计。正交指的是如果 与 相乘，结果是0。因此，我们得到 。现在 的分布是

而不再依赖 。那么对 进行似然估计就会得到 的无偏估计量（5.14）。现在我们讨论REML如何应用到混合线性模型。我们的起点是边际模型

故事又重新开始，如之前，我们可以写一个略微不同的log似然式子。未知参数是 和 及 中的元素，依然用 表示。似然函数：

是 的行列式。对 求偏导并=0解方程。如之前讨论的例子，得到的参数是有偏的，因此我们需要REML。

总之， REML，就是用一个特殊的矩阵乘以Y，这样X×β就消去。然后用ML估计得到的参数估计子就是无偏的，并且与特定的矩阵相乘无关 。因此， 的REML估计子与ML的估计子不同。 如果相对于观测值的个数，固定协变量的个数很少，就没有太大的不同，相反有许多的固定协变量，情况就大不相同。

---