python数据分析和大数据分析,python海量数据分析师

　　python视频教程栏目介绍一个大数据分析神器

　　推荐(免费):python视频教程

　　如何提高熊猫的奔跑速度之前已经介绍过很多次了，其中也经常提到Dask。很多朋友如果没有接触过，可能不太了解。今天推荐这款神器。

　　1、什么是Dask？

　　熊猫和Numpy大家都不陌生。代码运行后，数据被加载到RAM中。如果数据集特别大，我们会看到内存飙升。但是有时候要处理的数据不适合RAM，这时Dask就来了。

　　Dask是开源免费的。它是与其他社区项目(如Numpy、Pandas和Scikit-Learn)合作开发的。

　　官方：https://dask.org/Dask支持熊猫的DataFrame和NumpyArray的数据结构，可以在本地计算机上运行，也可以扩展到集群上运行。

　　基本上，只要编写一次代码，就可以在本地运行它，或者使用常见的Pythonic语法将其部署到多节点集群。这本身就是一个很棒的特性，但还不是最棒的。

　　我觉得Dask最牛逼的功能是：它兼容大部分我们已经在用的工具，并且只需改动少量的代码，就可以利用自己笔记本电脑上已有的处理能力并行运行代码。而并行处理数据就意味着更少的执行时间，更少的等待时间和更多的分析时间。.

　　以下是Dask的数据处理的大致流程。

　　2、Dask支持哪些现有工具？

　　这是我比较喜欢的，因为Dask可以兼容Python的数据处理和建模库包，它遵循库包的API，对于Python用户来说学习起来是极低的。Hadoop、Spark等大数据处理，学习门槛和时间成本都很高。

　　目前Dask可以支持熊猫、Numpy、Sklearn、XGBoost、XArray、RAPIDS等。这些我觉得足够了，至少对于常见的数据处理和建模分析来说。

　　3、Dask安装

　　您可以使用conda或pip，或者从源代码安装dask。

　　Condinstall dask因为dask有很多依赖项，下面的代码也可以用来快速安装。将安装运行DASK所需的最小依赖集。

　　通过源代码安装了一个条件安装dask-core。

　　git克隆https://github.com/dask/dask.git

　　cd dask

　　python -m pip安装。4、Dask如何使用？

　　Numpy、pandas

　　Dask引入了三个并行集，可以存储比RAM大的数据。这些集合包括数据帧、包和数组。每种收集类型都可以使用在RAM和硬盘之间分区的数据，以及分布在集群中多个节点上的数据。

　　Dask的用法很清楚。如果使用NumPy数组，从Dask数组开始。如果用熊猫DataFrame，从Dask DataFrame开始，以此类推。

　　将dask.array作为da导入

　　x=da.random.uniform(low=0，high=10，size=(10000，10000)，# normal numpy代码

　　 chunks=(1000, 1000)) # break into chunks of size 1000x1000

　　y = x + x.T - x.mean(axis=0) # Use normal syntax for high level algorithms

　　# DataFrames

　　import dask.dataframe as dd

　　df = dd.read_csv('2018-*-*.csv', parse_dates='timestamp', # normal Pandas code

　　 blocksize=64000000) # break text into 64MB chunks

　　s = df.groupby('name').balance.mean() # Use normal syntax for high level algorithms

　　# Bags / lists

　　import dask.bag as db

　　b = db.read_text('*.json').map(json.loads)

　　total = (b.filter(lambda d: d['name'] == 'Alice')

　　 .map(lambda d: d['balance'])

　　 .sum())这些高级接口在略微变化的情况下复制了标准接口。对于原始项目中的大部分API，这些接口会自动为我们并行处理较大的数据集，实现上不是很复杂，对照Dask的doc文档即可一步步完成。

　　Delayed

　　下面说一下Dask的 Delay 功能，非常强大。

　　Dask.delayed是一种并行化现有代码的简单而强大的方法。之所以被叫做delayed是因为，它没有立即计算出结果，而是将要作为任务计算的结果记录在一个图形中，稍后将在并行硬件上运行。

　　有时问题用已有的dask.array或dask.dataframe可能都不适合，在这些情况下，我们可以使用更简单的dask.delayed界面并行化自定义算法。例如下面这个例子。

def inc(x):
　　 return x + 1
　　def double(x):
　　 return x * 2
　　def add(x, y):
　　 return x + y
　　data = [1, 2, 3, 4, 5]
　　output = []
　　for x in data:
　　 a = inc(x)
　　 b = double(x)
　　 c = add(a, b)
　　 output.append(c)
　　total = sum(output)
　　45

上面代码在单个线程中按顺序运行。但是，我们看到其中很多可以并行执行。Dask delayed函数可修饰inc、double这些函数，以便它们可延迟运行，而不是立即执行函数，它将函数及其参数放入计算任务图中。

　　我们简单修改代码，用delayed函数包装一下。

import dask
　　output = []
　　for x in data:
　　 a = dask.delayed(inc)(x)
　　 b = dask.delayed(double)(x)
　　 c = dask.delayed(add)(a, b)
　　 output.append(c)
　　total = dask.delayed(sum)(output)

代码运行后inc、double、add和sum都还没有发生，而是生成一个计算的任务图交给了total。然后我们用visualizatize看下任务图。

total.visualize()

　　上图明显看到了并行的可能性，所以毫不犹豫，使用compute进行并行计算，这时才完成了计算。

>>> total.compute()
　　45

由于数据集较小无法比较时间，这里只介绍下使用方法，具体可自己动手实践下。

　　Sklearn机器学习

　　关于机器学习的并行化执行，由于内容较多，东哥会在另一篇文章展开。这里简单说下一下dask-learn。

　　dask-learn项目是与Sklearn开发人员协作完成的。现在可实现并行化有Scikit-learn的Pipeline、GridsearchCV和RandomSearchCV以及这些的变体，它们可以更好地处理嵌套的并行操作。

　　因此，如果你将sklearn替换为dklearn，那么速度将会提升很多。

# from sklearn.grid_search import GridSearchCV
　　 from dklearn.grid_search import GridSearchCV
　　# from sklearn.pipeline import Pipeline
　　 from dklearn.pipeline import Pipeline
　　下面是一个使用Pipeline的示例，其中应用了PCA和逻辑回归。
　　from sklearn.datasets import make_classification
　　X, y = make_classification(n_samples=10000,
　　 n_features=500,
　　 n_classes=2,
　　 n_redundant=250,
　　 random_state=42)
　　from sklearn import linear_model, decomposition
　　from sklearn.pipeline import Pipeline
　　from dklearn.pipeline import Pipeline
　　logistic = linear_model.LogisticRegression()
　　pca = decomposition.PCA()
　　pipe = Pipeline(steps=[('pca', pca),
　　 ('logistic', logistic)])
　　grid = dict(pca__n_components=[50, 100, 150, 250],
　　 logistic__C=[1e-4, 1.0, 10, 1e4],
　　 logistic__penalty=['l1', 'l2'])
　　# from sklearn.grid_search import GridSearchCV
　　from dklearn.grid_search import GridSearchCV
　　estimator = GridSearchCV(pipe, grid)
　　estimator.fit(X, y)

结果是：sklearn会在40秒钟左右执行此计算，而dask-learn替代品大约需要10秒钟。
另外，如果添加以下代码可以连接到集群，通过Client可以展示整个计算过程的dashboard，由Bokeh实现。

from dask.distributed import Client
　　c = Client('scheduler-address:8786')

　　5、总结

　　以上就是Dask的简单介绍，Dask的功能是非常强大的，且说明文档也非常全，既有示例又有解释。感兴趣的朋友可以自行去官网或者GitHub学习，东哥下次分享使用Dask进行机器学习的一些实例。以上就是安利大家一个Python大数据分析神器的详细内容，更多请关注盛行IT软件开发工作室其它相关文章！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。

相关文章阅读