赤池信息量准则(Akaike information criterion,
AIC)是衡量统计模型拟合优良性的标准,由日本统计学家赤池弘次在研究信息论时提出。该准则基于
信息熵概念,通过平衡模型参数数量与拟合优度筛选模型,公式为AIC = -2ln(L) + 2k,其中k为参数个数,L为
似然函数最大值。
AIC的大小取决于L和k。k取值越小,AIC越小;L取值越大,AIC值越小。k小意味着模型简洁,L大意味着模型精确。因此AIC和修正的
决定系数类似,在评价模型是兼顾了
简洁性和
精确性。
具体到,L=-(n/2)*ln(2*pi)-(n/2)*ln(RSS/n)-n/2.其中n为
样本量,RSS为残差平方和
表明增加
自由参数的数目提高了拟合的优良性,AIC鼓励
数据拟合的优良性但是尽量避免出现过度拟合(Over
fitting)的情况。所以优先考虑的模型应是AIC值最小的那一个。
赤池信息准则的方法是寻找可以最好地解释数据但包含最少自由参数的模型。
当n增加时,AICc收敛成AIC。所以AICc可以应用在任何
样本大小的情况下(Burnham and Anderson, 2004)。
AICu=ln[RSS/(n-k)]+(n+k)/(n-k-2).
QAICc=QAIC+2k(2k+1)/(n-k-1).