决策树Python分类案例,python决策树算法分析数据
决策树是树模型系列的基本模型。随后的随机森林(RF)、提升树(、梯度提升树)、XG提升都是在此基础上演化而来。
决策树及其演化模型(RF、GBDT、XG boost)广泛应用于数据挖掘、推荐系统、金融风险控制、计算广告、智能营销等领域。它们是机器学习最基本的模型之一，应该掌握。
本文以PPT的形式，首先回顾了最优码、信息熵等决策树背后的数理逻辑(概率论、信息论)。其次，介绍了ID3树、C4.5树和CART树的原理。其次，介绍了使用Sklearn实现ID3树、C4.5树和CART树的可视化。最后总结了决策树的优缺点、比较和演化。本文的主要内容如下：1 .决策树的基础。
1、最好的代码
2.信息熵
3.分类和回归
二。决策树原理
1.决策树原理
2.购物车决策树
3.ID3决策树
4.C4.5决策树
3.决策树的可视化
1.ID3分类树的可视化
2.购物车分类树的可视化
3.CART回归树的可视化
四。决策树概述
1.决策树的优点和缺点
2.决策树与线性回归
3.决策树的进化。
直接打PPT。决策树的原理、推导、Python实现及Sklearn可视化
一、决策树基本决策树基本目录
1、最好的代码
信息熵公式离不开卡夫不等式定理和最优码。
首先，什么是克拉夫特不等式定理？最好的代码是什么？最好的代码是什么？
2.信息熵
熵是什么？什么是信息熵？熵是什么？什么是信息熵？
3.分类和回归
机器学习世界的两个基本任务是分类任务和回归任务。分类和回归
二。决策树原则决策树原则目录
1.决策树原理
什么是决策树？
由一系列分支语句表示的模型。什么是决策树？
所以决策树的本质是分支语句。决策树的本质是分支语句。
决策树有很强的信息可分性假设，否则无法进行特征分支。决策树假设：信息是可以分离的。
2.购物车决策树
什么是分类回归树(CART)？购物车决策树
CART回归树算法如下：CART回归树算法
以CART回归树为例，就是RT回归树。
示例1 cart回归树的第一和第二部分：cart回归树的第一和第二部分。
例1中CART回归树的第三和第四部分：CART回归树的第三和第四部分。
在实施例1的第五次剪切中，获得了最终的CART回归树：在第五次剪切中，获得了最终的CART回归树。
示例1的CART回归树的可视化是示例1的CART回归树的可视化。
示例1中CART回归树的Python实现是示例1中CART回归树的Python实现。
示例1的CART回归树的Python实现代码如下。
@作者：刘麒麟@ des:基于sk learn的CART回归树可视化
将numpy作为np导入
froms kle arn . treeimportdecisiontreeregressor
x=NP.arange (1，11)。整形(-1，1))))))))).
y=NP。数组([5.56、5.70、5.91、6.40、6.80、7.05、8.90、8.70、9.00、9.05]
tree=decisiontreeregressor(max _ depth=4)。fit(x，y ) ) ) ) ) 65)
#导入操作系统
# OS . environ[ path ]=OS . path sep c:/program files(x86)/graph viz 2.38/cqdxm/
froms klearn . externals . sixiportstringio
从IPython.display导入图像
froms kle arn . tree import export _ graphviz
导入pydotplus
点数据=博览会
rt_graphviz(tree，out_file=None
填充=真，四舍五入=真，
special_characters=True，
精度=2)
graph=pydotplus . graph _ from _ dot _ data(dot _ data)
Image(graph.create_png())
3.ID3决策树
ID3的特征选择标准：信息增益。三维决策树
4.C4.5决策树
C4.5决策树
三。决策树可视化目录
1、ID3分类树可视化
3 ID分类树可视化代码如下：
@作者：刘麒麟@des: ID3基于Sklearn的分类树可视化
进口熊猫作为pd
将sklearn.datasets作为数据集导入
从sklearn.tree导入决策树分类器
iris=datasets.load_iris()
df=pd。DataFrame(iris.data，columns=iris.feature_names)
y=虹膜.目标
# ID3分类树，信息增益特征选择
dtree=决策树分类器(criteria=熵，max_depth=3).拟合(df，y)
来自sk学习。外在的。六进口StringIO
从IPython .显示器导入图像
从sklearn.tree导入导出_graphviz
导入pydotplus
dot_data=StringIO()
export_graphviz(dtree，out_file=dot_data，filled=True，rounded=True，
特殊字符=真，精度=2)
graph=pydotplus。graph _ from _ dot _ data(点数据。getvalue())
Image(graph.create_png())
2、推车分类树可视化手推车分类树可视化
手推车分类树可视化的代码如下：
""@作者：刘启林@des:基于实例的手推车分类树可视化
进口熊猫作为螺纹中径
将sklearn.datasets作为数据集导入
从sklearn.tree导入决策树分类器
iris=datasets.load_iris()
df=pd .DataFrame(iris.data，columns=iris.feature_names)
y=虹膜。目标
#购物车分类树，基尼系数特征选择
dtree=决策树分类器(criteria= Gini )。拟合(df，y)
来自sk学习。外在的。六进口StringIO
从IPython .显示器导入图像
从sklearn.tree导入导出_graphviz
导入pydotplus
dot_data=StringIO()
export_graphviz(dtree，out_file=dot_data，filled=True，rounded=True，
特殊字符=真，精度=2)
graph=pydotplus。graph _ from _ dot _ data(点数据。getvalue())
Image(graph.create_png())
3、推车回归树可视化手推车回归树可视化
手推车回归树可视化的代码如下：
""@作者：刘启林@des:基于实例实现手推车回归树的可视化
将数组作为铭牌导入
从sklearn.tree导入决策树回归器
X=np.arange(1，11).整形(-1,1)
y=np.array([5.56，5.70，5.91，6.40，6.80，7.05，8.90，8.70，9.00，9.05])
tree=DecisionTreeRegressor(max _ depth=4).拟合(X，y)
来自sk学习。外在的。六进口StringIO
从IPython .显示器导入图像
从sklearn.tree导入导出_graphviz
导入pydotplus
dot_data=export_graphviz(tree，out_file=None，
填充=真，四舍五入=真，
special_characters=True，
精度=2)
graph=pydotplus。图形_从_点_数据(点_数据)
Image(graph.create_png())
四、决策树总结决策树总结的目录
1、决策树的优缺点决策树的优缺点
2、决策树对线性回归决策树对线性回归
3、决策树的演化决策树的演化
决策树演化发展成GBDT、XGBoost模型，在工业界有很广泛的应用。
更多梯度提升决策树的内容，可参考：刘启林：GBDT的原理、公式推导、Python实现、可视化和应用zhuanlan.zhihu.com
更多XGBoost的内容，可参考：刘启林：XGBoost的原理、公式推导、Python实现和应用zhuanlan.zhihu.com
结束语：
决策树的数学原理清晰，可解释强，运行快，在数据挖掘、推荐系统、金融风控、计算广告、智能营销等领域得到广泛应用，你值得掌握。
参考文献：
1、闪闪的金毛等，物理学大词典[M]，科学出版社，2017.12
2、托马斯m盖，信息论基础[M]，机械工业出版社，2007.11
3、https://developers.google.com/machine-learning/glossary
4、体贴的指甲油，统计学习方法（第2版)[M]，清华大学出版社， 2019.05
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。