python子集和问题回溯法,
本文主要介绍python的自变量选择(全子集回归、回归法、逐步回归)。文章围绕主题，详细介绍了内容，有一定的参考价值，感兴趣的朋友可以参考一下。
00-1010 1.为什么需要自变量选择？2.自变量选择的几个标准：(1)自由度调整的最大多重决策系数；(2)红池信息的最小AIC；(3)所有子集的回归；(1)算法思想；(3)代码部分；(4)输出结果；(4)落后方法；(1)算法思想；(2)数据集情况；(3)代码部分；结果显示5
目录
好的回归模型并不是自变量越多越好。建立回归模型时，选择自变量的基本指导思想是少而精。在丢弃了一些对因变量Y有影响的自变量后，付出的代价是估计产量有偏差，但预测偏差的方差会减小。因此，自变量的选择具有重要的现实意义。
1、为什么需要自变量选择？
2、自变量选择的几个准则
（1）自由度调整复决定系数达到最大
（2）赤池信息量AIC达到最小
3、所有子集回归
所有子集回归是考虑全部独立变量的所有子集，看哪个子集是最优解。
（1）算法思想
（2）数据集情况
进口熊猫作为pd
将numpy作为np导入
将statsmodels.api作为sm导入
将statsmodels.formula.api作为smf导入
从itertools导入组合
def allziji(df):
列表1=[1，2，3]
n=18
R2=[]
名称=[]
#找到所有子集并依次循环
对于范围内的(len(list1) 1):
对于组合中的b(列表1，a 1):
p=len(列表(b))
1=PD。concat ([df。iloc [:I-1]用于列表(b)中的I]，axis=1) #组合所需的因子
Name= y ~ ( 。join (data1.columns)) #合成公式
Data=pd.concat ([df [y]，data1]，axis=1) #组合自变量和因变量
Result=smf.ols (name，data=data)。Fit () #建模
#计算R2a
r2=(n-1)/(n-p-1)
r2=r2 * (1-result.rsquared**2)
r2=1 - r2
R2.append
2)
names.append(name)
finall = {"公式":names, "R2a":R2}
data = pd.DataFrame(finall)
print("""根据自由度调整复决定系数准则得到：
最优子集回归模型为：{}；
其R2a值为：{}""".format(data.iloc[data[R2a].argmax(),0],data.iloc[data[R2a].argmax(),1]))
result = smf.ols(name,data=df).fit()#建模
print()
print(result.summary())
df = pd.read_csv("data5.csv") allziji(df)
（4）输出结果
4、后退法
（1）算法思想
后退法与前进法相反，通常先用全部m个变量建立一个回归方程，然后计算在剔除任意一个变量后回归方程所对应的AIC统计量的值，选出最小的AIC值所对应的需要剔除的变量，不妨记作x1;然后，建立剔除变量x1后因变量y对剩余m-1个变量的回归方程，计算在该回归方程中再任意剔除一个变量后所得回归方程的AIC值，选出最小的AIC值并确定应该剔除的变量;依此类推，直至回归方程中剩余的p个变量中再任意剔除一个 AIC值都会增加，此时已经没有可以继续剔除的自变量，因此包含这p个变量的回归方程就是最终确定的方程。
（2）数据集情况
（3）代码部分
import pandas as pdimport numpy as np
import statsmodels.api as sm
import statsmodels.formula.api as smf
def backward(df):
all_bianliang = [i for i in range(0,9)]#备退因子
ceshi = [i for i in range(0,9)]#存放加入单个因子后的模型
zhengshi = [i for i in range(0,9)]#收集确定因子
data1 = pd.concat([df.iloc[:,i+1] for i in ceshi ],axis = 1)#结合所需因子
name = y~++.join(data1.columns)
result = smf.ols(name,data=df).fit()#建模
c0 = result.aic #最小aic
delete = []#已删元素
while(all_bianliang):
aic = []#存放aic
for i in all_bianliang:
ceshi = [i for i in zhengshi]
ceshi.remove(i)
data1 = pd.concat([df.iloc[:,i+1] for i in ceshi ],axis = 1)#结合所需因子
name = "y~"+("+".join(data1.columns))#组成公式
data = pd.concat([df[y],data1],axis=1)#结合自变量和因变量
result = smf.ols(name,data=data).fit()#建模
aic.append(result.aic)#将所有aic存入
if min(aic)>c0:#aic已经达到最小
data1 = pd.concat([df.iloc[:,i+1] for i in zhengshi ],axis = 1)#结合所需因子
name = "y~"+("+".join(data1.columns))#组成公式
break
else:
zhengshi.remove(all_bianliang[aic.index(min(aic))])#查找最小的aic并将最小的因子存入正式的模型列表当中
c0 = min(aic)
delete.append(aic.index(min(aic)))
all_bianliang.remove(all_bianliang[delete[-1]])#删除已删因子
name = "y~"+("+".join(data1.columns))#组成公式
print("最优模型为：{}，其aic为：{}".format(name,c0))
result = smf.ols(name,data=df).fit()#建模
print()
print(result.summary())
df = pd.read_csv("data3.1.csv",encoding=gbk) backward(df)
（4）结果展示
5、逐步回归
（1）算法思想
逐步回归的基本思想是有进有出。R语言中step()函数的具体做法是在给定了包含p个变量的初始模型后，计算初始模型的AIC值，并在此模型基础上分别剔除p个变量和添加剩余m-p个变量中的任一变量后的AIC值，然后选择最小的AIC值决定是否添加新变量或剔除已存在初始模型中的变量。如此反复进行，直至既不添加新变量也不剔除模型中已有的变量时所对应的AIC值最小，即可停止计算，并返回最终结果。
（2）数据集情况
（3）代码部分
import pandas as pdimport numpy as np
import statsmodels.api as sm
import statsmodels.formula.api as smf
def zhubuhuigui(df):
forward = [i for i in range(0,4)]#备选因子
backward = []#备退因子
ceshi = []#存放加入单个因子后的模型
zhengshi = []#收集确定因子
delete = []#被删因子
while forward:
forward_aic = []#前进aic
backward_aic = []#后退aic
for i in forward:
ceshi = [j for j in zhengshi]
ceshi.append(i)
data1 = pd.concat([df.iloc[:,i] for i in ceshi ],axis = 1)#结合所需因子
name = "y~"+("+".join(data1.columns))#组成公式
data = pd.concat([df[y],data1],axis=1)#结合自变量和因变量
result = smf.ols(name,data=data).fit()#建模
forward_aic.append(result.aic)#将所有aic存入
for i in backward:
if (len(backward)==1):
pass
else:
ceshi = [j for j in zhengshi]
ceshi.remove(i)
data1 = pd.concat([df.iloc[:,i] for i in ceshi ],axis = 1)#结合所需因子
name = "y~"+("+".join(data1.columns))#组成公式
data = pd.concat([df[y],data1],axis=1)#结合自变量和因变量
result = smf.ols(name,data=data).fit()#建模
backward_aic.append(result.aic)#将所有aic存入
if backward_aic:
if forward_aic:
c0 = min(min(backward_aic),min(forward_aic))
else:
c0 = min(backward_aic)
else:
c0 = min(forward_aic)
if c0 in backward_aic:
zhengshi.remove(backward[backward_aic.index(c0)])
delete.append(backward_aic.index(c0))
backward.remove(backward[delete[-1]])#删除已删因子
forward.append(backward[delete[-1]])
else:
zhengshi.append(forward[forward_aic.index(c0)])#查找最小的aic并将最小的因子存入正式的模型列表当中
forward.remove(zhengshi[-1])#删除已有因子
backward.append(zhengshi[-1])
name = "y~"+("+".join(data1.columns))#组成公式
print("最优模型为：{}，其aic为：{}".format(name,c0))
result = smf.ols(name,data=data).fit()#建模
print()
print(result.summary())
df = pd.read_csv("data5.5.csv",encoding=gbk) zhubuhuigui(df)
（4）结果展示
到此这篇关于python的自变量选择(所有子集回归,后退法,逐步回归)的文章就介绍到这了,更多相关python自变量选择内容请搜索盛行IT软件开发工作室以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT软件开发工作室！
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。