python求因子,动态因子模型python

　　本文主要介绍python因子分析的例子。下面举一个因子分析的具体例子，看看因子分析是怎么进行的，有一定的参考价值，有兴趣的朋友可以参考一下。

　　00-1010一、产地二。基本思路三。申请四。因子分析步骤五、因子_分析器库六。实施例1的详细说明。导入数据库2。读取数据3。充分性测试3.1巴特利特球形测试3.2KMO测试4。选取因子个数4.1特征值和特征向量4.2可视化显示4.3可视化显示中文不出错5。因子旋转5.1建立因子分析模型5.2查看因子方差-get _ communities () 5.3查看旋转特征值5.4查看分量矩阵5.5查看因子贡献率6。

目录

　　因子分析的起源是这样的：1904年，英国一位心理学家发现，学生的英语、法语和古典语言成绩高度相关。他认为三门课程背后有一个共同的因素，最后把这个因素定义为“语言能力”。

　　基于这一思想，我们发现许多高度相关的因子背后都有共同的因子驱动，从而定义了因子分析,这就是因子分析的起源。

一、起源

　　让我们通过一个更实际的例子来理解因子分析的基本思想：

　　现在假设一个同学数学、物理、化学、生物都得了满分，那么我们就可以认为这个同学有很强的理性思维。在这里，理性思维就是我们所说的一个因素。在这个因素的影响下，偏科的成绩才会这么高。

　　到底什么是因子分析？假设所有现有的自变量X都是因为一个势变量的作用而出现的，这个势变量就是我们所说的因子。在这个因素的作用下，可以观察到X。

　　因子分析是为了比较存在某些相关性的变量提炼为较少的几个因子，用这几个因子去表示原本的变量，也可以根据因子对变量进行分类.

　　因子本质上也是一个降维的过程，类似于主成分分析（PCA）算法。

二、基本思想

　　因子分析和主成分分析有很多相似之处。因子分析的主要目的是描述隐藏在一组测量变量中的一些更基本的隐藏变量，但它们不能被直接测量。因子分析也可用于综合评价。

　　主要思想是利用研究指标之间的相关性。

　　性，从而推想是否存在某些潜在的共性因子，而这些不同的潜在的共性因子不同程度地共同影响着研究指标。因子分析可以在许多变量中找出隐藏的具有代表性的因子，将共同本质的变量归入一个因子，可以减少变量的数目。

四、因子分析步骤

　　应用因子分析法的主要步骤如下：

• 对所给的数据样本进行标准化处理
• 计算样本的相关矩阵R
• 求相关矩阵R的特征值、特征向量
• 根据系统要求的累积贡献度确定主因子的个数
• 计算因子载荷矩阵A
• 最终确定因子模型

五、factor_analyzer库

　　利用Python进行因子分析的核心库是：factor_analyzer

pip install factor_analyzer

　　这个库主要有两个主要的模块需要学习：

• factor_analyzer.analyze（重点）
• factor_analyzer.factor_analyzer

　　官网学习地址：factor_analyzer package — factor_analyzer 0.3.1 documentation

六、实例详解

　　数据来源于中国统计年鉴。

1.导入库

# 数据处理
　　import pandas as pd
　　import numpy as np
　　# 绘图
　　import seaborn as sns
　　import matplotlib.pyplot as plt
　　# 因子分析
　　from factor_analyzer import FactorAnalyzer

2.读取数据

df = pd.read_csv("D:\桌面\demo.csv",encoding=gbk)
　　df

　　输出：

　　如果不想要城市那一列的话，可以在读取的时候就删除，也可以后面再删

　　比如，读取时删除

df = pd.read_csv("D:\桌面\demo.csv", index_col=0,encoding=gbk).reset_index(drop=True)
　　df

　　返回：

　　然后我们查询一下，数据的缺失值情况：

df.isnull().sum()

　　返回：

　　然后，我们可以针对的，对数据进行一次处理：

　　比如删除无效字段的那一列

# 去掉无效字段
　　df.drop(["变量名1","变量名2","变量名3"],axis=1,inplace=True)

　　或者，删除空值

# 去掉空值
　　df.dropna(inplace=True)

3.充分性检测

　　在进行因子分析之前，需要先进行充分性检测，主要是检验相关特征阵中各个变量间的相关性，是否为单位矩阵，也就是检验各个变量是否各自独立。

3.1Bartlett's球状检验

　　检验总体变量的相关矩阵是否是单位阵（相关系数矩阵对角线的所有元素均为1,所有非对角线上的元素均为零）；即检验各个变量是否各自独立。

　　如果不是单位矩阵，说明原变量之间存在相关性，可以进行因子分子；反之，原变量之间不存在相关性，数据不适合进行主成分分析

from factor_analyzer.factor_analyzer import calculate_bartlett_sphericity
　　chi_square_value, p_value = calculate_bartlett_sphericity(df)
　　chi_square_value, p_value

　　返回：

3.2KMO检验

　　检查变量间的相关性和偏相关性，取值在0-1之间；KOM统计量越接近1，变量间的相关性越强，偏相关性越弱，因子分析的效果越好。

　　通常取值从0.6开始进行因子分析

#KMO检验
　　from factor_analyzer.factor_analyzer import calculate_kmo
　　kmo_all,kmo_model=calculate_kmo(df)
　　kmo_model

　　返回：

　　通过结果可以看到KMO大于0.6，也说明变量之间存在相关性，可以进行分析。

4.选择因子个数

　　方法：计算相关矩阵的特征值，进行降序排列

4.1特征值和特征向量

faa = FactorAnalyzer(25,rotation=None)
　　faa.fit(df)
　　# 得到特征值ev、特征向量v
　　ev,v=faa.get_eigenvalues()
　　print(ev,v)

　　返回：

4.2可视化展示

　　将特征值和因子个数的变化绘制成图形：

 # 同样的数据绘制散点图和折线图
　　plt.scatter(range(1, df.shape[1] + 1), ev)
　　plt.plot(range(1, df.shape[1] + 1), ev)
　　# 显示图的标题和xy轴的名字
　　# 最好使用英文，中文可能乱码
　　plt.title("Scree Plot") 
　　plt.xlabel("Factors")
　　plt.ylabel("Eigenvalue")
　　plt.grid() # 显示网格
　　plt.show() # 显示图形

　　返回：

　　从上面的图形中，我们明确地看到：选择2或3个因子就可以了

4.3 可视化中显示中文不报错

　　只需要在画图前，再导入一个库即可，见代码

import matplotlib as mpl
　　mpl.rcParams[font.sans-serif] = [SimHei] # 指定默认字体
　　mpl.rcParams[axes.unicode_minus] = False # 解决保存图像是负号-显示为方块的问题

5.因子旋转

5.1 建立因子分析模型

　　在这里选择，最大方差化因子旋转

# 选择方式： varimax 方差最大化
　　# 选择固定因子为 2 个
　　faa_two = FactorAnalyzer(2,rotation=varimax)
　　faa_two.fit(df)

　　返回：

　　ratation参数的其他取值情况：

• varimax (orthogonal rotation)
• promax (oblique rotation)
• oblimin (oblique rotation)
• oblimax (orthogonal rotation)
• quartimin (oblique rotation)
• quartimax (orthogonal rotation)
• equamax (orthogonal rotation)

5.2查看因子方差-get_communalities()

　　查看公因子方差

# 公因子方差
　　faa_two.get_communalities()

　　返回：

　　查看每个变量的公因子方差数据

pd.DataFrame(faa_two.get_communalities(),index=df.columns)

　　返回：

5.3查看旋转后的特征值

faa_two.get_eigenvalues()

　　返回：

pd.DataFrame(faa_two.get_eigenvalues())

　　返回：

5.4查看成分矩阵

　　查看它们构成的成分矩阵：

# 变量个数*因子个数
　　faa_two.loadings_

　　返回：

　　如果转成DataFrame格式，index就是我们的变量，columns就是指定的因子factor。转DataFrame格式后的数据：

pd.DataFrame(faa_two.loadings_,index=df.columns)

　　返回：

5.5查看因子贡献率

　　通过理论部分的解释，我们发现每个因子都对变量有一定的贡献，存在某个贡献度的值，在这里查看3个和贡献度相关的指标：

• 总方差贡献：variance (numpy array) – The factor variances
• 方差贡献率：proportional_variance (numpy array) – The proportional factor variances
• 累积方差贡献率：cumulative_variances (numpy array) – The cumulative factor variances

　　我们来看一下总方差贡献吧

faa_two.get_factor_variance()

　　返回：

6.隐藏变量可视化

　　为了更直观地观察每个隐藏变量和哪些特征的关系比较大，进行可视化展示，为了方便取上面相关系数的绝对值：

df1 = pd.DataFrame(np.abs(faa_two.loadings_),index=df.columns)
　　print(df1)

　　返回：

　　然后我们通过热力图将系数矩阵绘制出来：

# 绘图
　　plt.figure(figsize = (14,14))
　　ax = sns.heatmap(df1, annot=True, cmap="BuPu")
　　# 设置y轴字体大小
　　ax.yaxis.set_tick_params(labelsize=15)
　　plt.title("Factor Analysis", fontsize="xx-large")
　　# 设置y轴标签
　　plt.ylabel("Sepal Width", fontsize="xx-large")
　　# 显示图片
　　plt.show()
　　# 保存图片
　　# plt.savefig("factorAnalysis", dpi=500)

　　返回：

7.转成新变量

　　上面我们已经知道了2个因子比较合适，可以将原始数据转成2个新的特征，具体转换方式为：

faa_two.transform(df)

　　返回：

　　转成DataFrame格式后数据展示效果更好：

df2 = pd.DataFrame(faa_two.transform(df))
　　print(df2)

　　返回：

七、参考资料

　　1、Factor Analysis：Factor Analysis with Python — DataSklr

　　2、多因子分析：因子分析(factor analysis)例子–Python 文艺数学君

　　3、factor_analyzer package的官网使用手册：factor_analyzer package — factor_analyzer 0.3.1 documentation

　　4、浅谈主成分分析和因子分析：浅谈主成分分析与因子分析 - 知乎

　　到此这篇关于python因子分析的实例的文章就介绍到这了,更多相关python 因子分析内容请搜索盛行IT软件开发工作室以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT软件开发工作室！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。