赤池信息量准则
衡量统计模型拟合优良性的标准
赤池信息量准则(Akaike information criterion,AIC)是衡量统计模型拟合优良性的标准,由日本统计学家赤池弘次在研究信息论时提出。该准则基于信息熵概念,通过平衡模型参数数量与拟合优度筛选模型,公式为AIC = -2ln(L) + 2k,其中k为参数个数,L为似然函数最大值。
准则介绍
在一般的情况下,AIC可以表示为:
AIC=(2k-2L)/n
它的假设条件是模型的误差服从独立正态分布
其中:k是所拟合模型中参数的数量,L是对数似然值,n是观测值数目。
AIC的大小取决于L和k。k取值越小,AIC越小;L取值越大,AIC值越小。k小意味着模型简洁,L大意味着模型精确。因此AIC和修正的决定系数类似,在评价模型是兼顾了简洁性精确性
具体到,L=-(n/2)*ln(2*pi)-(n/2)*ln(RSS/n)-n/2.其中n为样本量,RSS为残差平方和
表明增加自由参数的数目提高了拟合的优良性,AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合(Overfitting)的情况。所以优先考虑的模型应是AIC值最小的那一个。赤池信息准则的方法是寻找可以最好地解释数据但包含最少自由参数的模型。
对比
在样本小的情况下,AIC转变为AICc:
AICc=AIC+[2k(k+1)/(n-k-1)]
当n增加时,AICc收敛成AIC。所以AICc可以应用在任何样本大小的情况下(Burnham and Anderson, 2004)。
McQuarrie 和 Tsai(1998: 22)把AICc定义为:
AICc=ln(RSS/n)+(n+k)/(n-k-2),
他们提出的另一个紧密相关指标为AICu:
AICu=ln[RSS/(n-k)]+(n+k)/(n-k-2).
QAIC
QAIC(Quasi-AIC)可以定义为:
QAIC=2k-1/c*2lnL
其中:c是方差膨胀因素。因此QAIC可以调整过度离散(或者缺乏拟合)。
小样本情况下, QAIC表示为:
QAICc=QAIC+2k(2k+1)/(n-k-1).
参考资料
赤池信息量准则 AIC 及其意义.北京大学主页.2025-03-08
赤池信息量准则.中国百科.2023-05-06
最新修订时间:2025-11-03 10:54
目录
概述
准则介绍
参考资料