python读取csv文件并处理数据,python读取整个csv
本文主要介绍Python读取csv文件进行K-means分析,并基于时间序列分析分析2D读取时间列和高程。更多详情,请参考以下小伙伴。
00-1010 1.操作环境和数据2。基于时间序列的分析2D2.1 2000行数据结果显示2.2 6950行数据结果显示2.3 300M,约105万行数据结果显示3。经纬度高程三维坐标分类显示-空间点聚类3.1 2000行数据结果显示3.2 300M CSV数据计算显示效果
目录
Python3.7,PyCharm社区版2021.1.1,win10系统。
使用的库:matplotlib,numpy,sklearn,pandas等。
数据:CSV文件,包括时间,经纬度,高程等数据。
1.运行环境及数据
读取时间列和高程进行分析:
代码如下:
从PIL进口图片
将matplotlib.pyplot作为plt导入
将numpy作为np导入
从sklearn.cluster导入KMeans,MiniBatchKMeans
进口熊猫作为pd
if __name__==__main__:
data=pd.read_csv(rH:\CSDN测试数据\UseYourTestData.csv )
x,y=数据[时间(秒)],数据[高度(米海)]
n=len(x)
x=np.array(x)
x=x . shape(n,1)# shape是一列。
y=np.array(y)
y=y . shape(n,1)# shape是一列。
Data=np.hstack((x,y)) #水平合并成两列
K=8 #设置颜色聚类的类别数(我们分别设置8,16,32,64,128进行比较)
Cluster=KMeans(n_clusters=k) #构造一个集群
C=cluster.fit_predict(数据)
# C_Image=cluster.fit_predict(数据)
Print(总训练时间为:% s(s)%(training time)。秒)
图表()
plt.scatter(data[:0],data[:1],marker=o ,s=2,c=C)
plt.show()
结果展示:
2.基于时间序列的分析2D
2.1 2000行数据结果展示
2.2 6950行数据结果展示
CPU马上超过90%。大概1-2分钟,也是比较快的。
Markersize有点大。缩小显示,设置为0.1。点太多还是不明显。
2.3 300M,约105万行数据结果展示
修改代码,读取相应的列修改为X,Y,Z坐标:如下:
从PIL进口图片
将matplotlib.pyplot作为plt导入
将numpy作为np导入
从sklearn.cluster导入KMeans,MiniBatchKMeans
进口熊猫作为pd
从mpl_toolkits.mplot3d导入Axes3D
if __name__==__main__:
data=pd.read_csv(rH:\CSDN测试数据\UseYourTestData.csv )
x,y,z=数据[经度(度)],数据[纬度(度)],数据[高度(米海)]
n=len(x)
x=np.array(x)
x=x . shape(n,1)# shape是一列。
y=np.array(y)
y=y . shape(n,1)# shape是一列。
z=np.array(z)
z=z . shape(n,1)# shape是一列。
Data=np.hstack((x,y,z)) #水平合并成两列
K=8 #设置颜色聚类的类别数(我们分别设置8,16,32,64,128进行比较)
Cluster=KMeans(n_clusters=k) #构造一个集群
C=cluster.fit_predict(数据)
# C_Image=cluster.fit_predict(数据)
Print(总训练时间为:% s(s)%(training time)。秒)
图=plt.figure()
ax=Axes3D(图)
ax.scatter(data[:0],data[:1],data[:2],s=1,c=C)
#画一个传奇
ax.legend(loc=best )
#添加轴
ax.set_zlabel(Z Label ,fontdict={size: 15, color: red})
ax.set_ylabel(Y Label ,fontdict={size: 15, color: red})
ax.set_xlabel(X Label ,fontdict={size: 15, color: red})
plt.show()
3.经纬度高程三维坐标分类显示3D-空间点聚类
因为经度在纬度方向17m范围内,立体效果差,所以可以测试其他数据。
3.1 2000行数据结果显示
105万行数据显示结果:
关于Python读取csv文件进行K-means分析的这篇文章到此为止。关于Python读取csv文件的更多信息,请搜索热门IT软件开发工作室之前的文章或者继续浏览下面的相关文章。希望大家以后多多支持热门IT软件开发工作室!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。