R语言学习DAY04：回归分析

R本身是一门统计语言，主要用于统计分析，前面的语法部分算是基础，接下来开始进入统计模型应用。首先从最常用的回归分析说起。

有关线性回归分析模型的基本假定需要注意：1）关于随机干扰项的高斯-马尔科夫定理；2）关于自变量的：不存在共线性；3）关于模型的：模型设定正确。

用 glm 函数建立广义线性模型，用参数 family 指定分布类型，logistic模型指定为binomial

用 predict 函数进行预测， predict(model, data, type = 'response'

此外，还可以用 mlogit 包中的 mlogit 函数做多分类变量logistic回归， rms 包中的 lrm 函数做顺序变量logistic回归， glmnet 包中的 glmnet 函数做基于正则化的logistic回归

没有具体的建模数值，因为根据不同形态的建模，需要设置的数值都是不同的，最基础的是可选择的缩放参数。

例如：

w = torch.Tensor(3, 5)

nn.init.xavier_uniform(w, gain=nn.init.calculate_gain('relu'))

非线性回归的初始值设置方法：

1.查阅他人已有文献，采用其参数作为初始值；

2.将可线性化的方程进行变换（如对数变换），将其线性化后采用线性回归的计算参数，得到的参数进行相应的变换后代入原方程作为初始值；

3.更改算法，R语言可以尝试minpack包的nls.LM()函数，quantreg包的 dynrq()函数进行分位数回归

4.瞎蒙

在日常学习或工作中经常会使用线性回归模型对某一事物进行预测，例如预测房价、身高、GDP、学生成绩等，发现这些被预测的变量都属于连续型变量。然而有些情况下，被预测变量可能是二元变量，即成功或失败、流失或不流失、涨或跌等，对于这类问题，线性回归将束手无策。这个时候就需要另一种回归方法进行预测，即Logistic回归。

在实际应用中，Logistic模型主要有三大用途：

1）寻找危险因素，找到某些影响因变量的"坏因素"，一般可以通过优势比发现危险因素；

2）用于预测，可以预测某种情况发生的概率或可能性大小；

3）用于判别，判断某个新样本所属的类别。

Logistic模型实际上是一种回归模型，但这种模型又与普通的线性回归模型又有一定的区别：

1）Logistic回归模型的因变量为二分类变量；

2）该模型的因变量和自变量之间不存在线性关系；

3）一般线性回归模型中需要假设独立同分布、方差齐性等，而Logistic回归模型不需要；

4）Logistic回归没有关于自变量分布的假设条件，可以是连续变量、离散变量和虚拟变量；

5）由于因变量和自变量之间不存在线性关系，所以参数(偏回归系数)使用最大似然估计法计算。

logistic回归模型概述

广义线性回归是探索“响应变量的期望”与“自变量”的关系，以实现对非线性关系的某种拟合。这里面涉及到一个“连接函数”和一个“误差函数”，“响应变量的期望”经过连接函数作用后，与“自变量”存在线性关系。选取不同的“连接函数”与“误差函数”可以构造不同的广义回归模型。当误差函数取“二项分布”而连接函数取“logit函数”时，就是常见的“logistic回归模型”，在0-1响应的问题中得到了大量的应用。

Logistic回归主要通过构造一个重要的指标：发生比来判定因变量的类别。在这里我们引入概率的概念，把事件发生定义为Y=1，事件未发生定义为Y=0，那么事件发生的概率为p,事件未发生的概率为1-p，把p看成x的线性函数；

回归中，最常用的估计是最小二乘估计，因为使得p在[0,1]之间变换，最小二乘估计不太合适，有木有一种估计法能让p在趋近与0和1的时候变换缓慢一些（不敏感），这种变换是我们想要的，于是引入Logit变换,对p/(1-p)也就是发生与不发生的比值取对数，也称对数差异比。经过变换后，p对x就不是线性关系了。

---