计量经济学中SC和AIC准则指的是什么?请给出具体定义。谢谢。急~

计量经济学中SC和AIC准则指的是什么?请给出具体定义。谢谢。急~,第1张

AIC(赤池信息准则

SC施瓦兹准则

1、施瓦兹准则SC(Schwarz Criterion),其检验思想也是通过比较不同分布滞后模型的拟合优度来确定合适的滞后期长度。检验过程是:在模型中逐期添加滞后变量,直到SC值不再降低时为止,即选择使SC值达到最小的滞后期k。SC比更加“严厉地处罚”在模型中额外添加不重要的解释变量。

2、AIC信息准则即Akaike information criterion,是衡量统计模型拟合优良性(Goodness of fit)的一种标准,由于它为日本统计学家赤池弘次创立和发展的,因此又称赤池信息量准则。它建立在熵的概念基础上,可以权衡所估计模型的复杂度和此模型拟合数据的优良性。

扩展资料:

AIC信息准则在1971年由赤池弘次提出,该准则于1973年以概念简介的形式发表。1974年首次出现在赤池弘次发表的正式论文中。截止2018年6月,该论文已被超过4万次引用。

数字信号处理中对多种模型作选择的判别方法。在一般的情况下,AIC可以表示为: AIC=2k-2ln(L)其中:k是参数的数量,L是似然函数。假设条件是模型的误差服从独立正态分布。

参考资料来源:百度百科-施瓦兹准则SC

参考资料来源:百度百科-计量经济学

参考资料来源:百度百科-AIC信息准则

很多参数估计问题均采用似然函数作为目标函数,当训练数据足够多时,可以不断提高模型精度,但是以提高模型复杂度为代价的,同时带来一个机器学习中非常普遍的问题——过拟合。

所以, 模型选择问题 在 模型复杂度 与 模型对数据集描述能力 (即似然函数)之间寻求最佳平衡。

人们提出许多信息准则,通过加入模型复杂度的惩罚项来避免过拟合问题,此处我们介绍一下常用的两个模型选择方法:

1 赤池信息准则(Akaike Information Criterion,AIC)

AIC是衡量统计模型拟合优良性的一种标准 ,由日本统计学家赤池弘次在1974年提出,它建立在熵的概念上,提供了 权衡估计模型复杂度和拟合数据优良性的标准 。

通常情况下,AIC定义为:

其中k是模型参数个数,L是似然函数。从一组可供选择的模型中选择最佳模型时,通常 选择AIC最小的模型 。

当两个模型之间存在较大差异时,差异主要体现在 似然函数项 ,当似然函数差异不显著时,上式第一项,即 模型复杂度 则起作用,从而 参数个数少的模型 是较好的选择。

一般而言,当模型复杂度提高(k增大)时,似然函数L也会增大,从而使AIC变小,但是k过大时,似然函数增速减缓,导致AIC增大,模型过于复杂容易造成过拟合现象。

目标是选取AIC最小的模型,AIC不仅要提高模型拟合度(极大似然),而且引入了惩罚项,使模型参数尽可能少,有助于降低过拟合的可能性。

2 贝叶斯信息准则(Bayesian Information Criterion,BIC)

BIC(Bayesian InformationCriterion)贝叶斯信息准则与AIC相似,用于 模型选择 ,1978年由Schwarz提出。训练模型时,增加参数数量,也就是增加模型复杂度,会增大似然函数,但是也会导致过拟合现象,针对该问题,AIC和BIC均引入了与模型参数个数相关的惩罚项, BIC的惩罚项比AIC的大,考虑了样本数量,样本数量过多时,可有效防止模型精度过高造成的模型复杂度过高 。

其中,k为模型参数个数,n为样本数量,L为似然函数。kln(n)惩罚项在维数过大且训练样本数据相对较少的情况下,可以有效避免出现维度灾难现象。

3 AIC与BIC比较

AIC 和 BIC 的公式中前半部分是一样的,后半部分是 惩罚项 ,当 n≥8n≥8 时, kln(n)≥2kkln(n)≥2k ,所以, BIC 相比 AIC 在大数据量时对模型参数惩罚得更多,导致 BIC 更倾向于选择参数少的简单模型。

链接:https://www.jianshu.com/p/058422cccc8d

来源:


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/346885.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-07
下一篇2023-05-07

发表评论

登录后才能评论

评论列表(0条)

    保存