keras安装与配置指南,安装Keras
声明
本教程不得用于任何形式的商业用途。如需转载,请联系作者SCP-173。如发现未经许可转载,将保留追究其法律责任的权利。
这里需要说明的是,我不推荐Windows环境下的深度学习研究。一方面,Windows对应的框架依赖太多,社区设置不全;另一方面,Linux对显卡支持、内存释放、存储空间调整等硬件功能的支持更好。如果你是Linux环境的新手,而大多数开发环境在Windows下操作更方便,希望这篇文章对你有所帮助。
关于计算机的硬件配置说明
推荐配置
如果你是在校大学生或高级研究员,实验室或个人资金充裕,建议你采用以下配置:主板:X99型号或Z170型号。
CPU: i7-5830K或i7-6700K及以上高级机型
内存:品牌内存,总容量32G以上,根据主板分为4路或8路。
SSD:品牌固态硬盘,容量256G以上。
显卡:英伟达GTX 1080,英伟达GTX泰坦,英伟达GTX 1070,英伟达GTX 1060(先推荐顺序,推荐同一款显卡。可以根据主板插槽数量购买多块显卡。比如X99主板最多可以用4块显卡)
电源:由主机容量决定。一般显卡总容量可以加200W W。
最低配置
如果只是用来自学或者代码调试,或者由于条件限制,只使用自己现有的设备进行开发,那么你的电脑至少要满足以下要求:CPU:Intel的第三代i5和i7系列产品或者同等性能的AMD产品。
内存:总容量超过4G。
说明目前大部分CPU都支持多核多线程,所以如果采用CPU加速,可以使用多线程运行。这一优势对于服务器CPU集群和多核并行CPU尤为关键。
说明一下,如果你的显卡不是英伟达的产品,或者英伟达GTX系列中型号的第一位数低于4或者英伟达GT系列,不建议你使用这类显卡进行加速计算,比如英伟达GT 910,英伟达GTX 450等。
如果你的显卡是笔记本中的GTX移动显卡(型号后面有M标志),请谨慎使用显卡加速,因为移动GPU容易过热烧毁。
如果你的显卡显示的是HD5000,ATI 5650之类的显卡类型,那就只能用CPU加速了。
如果你的显卡是帕斯卡架构(英伟达GTX 1080,英伟达GTX 1070等。),后续配置只能选择Visual Studio 2015和CUDA 8.0。
基础开发环境建设
1.Microsoft Windows版本
关于Windows的版本选择,我强烈建议对于一些新的高性能机,使用Windows 10作为基础环境,对于一些老的笔记本或者低性能机,使用Windows 7。本文中的环境将描述为Windows 10作为开发环境。对于Windows 10的发布版本选择,笔者建议使用Windows _ 10 _ Enterprise _ 2016 _ LTSB _ x64作为基础环境。
在这里我把它推荐给MSDN,我会告诉你下载它。我还要感谢国内杰出的作家龙雪沃尔夫的前辈们对我的贡献。
直接贴热链接,复制粘贴下载:
ed2k:// file cn _ windows _ 10 _ enterprise _ 2016 _ ltsb _ x64 _ DVD _ 9060409 . iso 3821895680 ff 17 ff 2d 5919 E3 a 560151 BBC 11 c 399d 1 /
2.编译环境Microsoft Visual Studio 2010-2015
(不需要安装CPU版本)
CUDA编译器为微软Visual Studio,版本为2010-2015,其中cuda7.5仅支持2010、2012和2013,cuda8.0仅支持2015。本文采用Visual Studio 2015 Update 3。还直接贴雷热链:
ed2k:// file cn _ visual _ studio _ professional _ 2015 _ with _ update _ 3 _ x86 _ x64 _ DVD _ 8923256 . iso 7745202176 DD 35 d3d 169d 553224 be 5 FB 44 e 074 ed5 e /
3.Python环境
Python环境建设推荐使用科学计算集成python发行版Anaconda。Anaconda是众多Python发行版中非常适合科学计算的版本,其中集成了很多优秀的科学计算Python库。对于从事科学计算和深度学习的人,建议安装2.7版的Anaconda3.5,如果喜欢用3.5版的Anaconda,问题不大。很多早期的python3.5不兼容问题现在已经解决了,所以本文默认使用Anconda2.7。
4.GCC编译环境
Gcc/g是Windows环境和Linux环境非常大的区别。无论是cpu版本还是gpu版本都需要安装GCC编译环境。本文提供两种解决方案:MinGW极简GNU for Windows,安装Anaconda后,在CMD或Powershell中输入:
Cond安装mingw libpythonmsy2有些读者已经有Python环境,再安装Anaconda会造成很大的不便,所以本文推荐安装MSYS2。网站上有详细的安装说明,这里就不赘述了。
5.库达
(只使用CPU版本不安装)CUDA Toolkit是NVIDIA为GPU编程提供的基础工具包,也是驱动显卡计算的核心技术工具。直接安装CUDA8.0下载地址:https://developer.nvidia.com/cuda-downloads
下载后,按照步骤安装。不建议新手修改安装目录。如上,环境不需要配置,安装程序会自动配置。
6.(可选)加速库CuDNN
从官网下载需要账号注册申请,两三天就批下来了。一般也可以通过网络搜索找到最新版本。Windows目前是cud nn-7.0-win-x64-v 5.0-prod . zip。下载的文件夹命名为cuda,包含zjdjy、include和lib。将三个文件夹复制到安装CUDA的地方,覆盖对应的文件夹。默认文件夹为:C:\ Program Files \ NVIDIA GPU Computing Toolkit \ CUDA。
Keras框架建筑
固定
Keras深度学习框架是基于Theano或者Tensorflow框架安装的,所以首先要做好底层框架的搭建准备。但是Tensorflow目前不支持Windows版本,所以本文选择Theano进行安装,可以在CMD命令行或者Powershell中输入:
pip安装the ano-U-prep pip安装keras -U - pre
或者想加快版本的开发速度,就用(前提是git,conda安装git)。
pip install-upgrade-no-deps git git://github . com/the ano/the ano . git
环境配置
右键单击我的电脑-属性-高级-环境变量-系统变量中的路径,然后添加
c:\ anaconda 2;c:\ anaconda 2 \ Scripts;c:\ anaconda 2 \ MinGW \ zjdjy;c:\ anaconda 2 \ MinGW \ x86 _ 64-w64-mingw 32 \ lib;
注意,本文将Anaconda安装到c盘的根目录,并根据您自己的情况进行修改;另外,之前安装gcc/g的时候,是用MSYS2安装的。修改并重新定位MinGW文件夹,并进行相应的修改。
然后创建一个新的变量PYTHONPATH,并添加
c:\ anaconda 2 \ Lib \ site-packages \ the ano;修改默认后端
打开C:\Users\ current user name \。keras,并修改文件夹中的keras.json文件,如下所示:
{image _ dim _ ordering: th , epsilon: 1e-07, floatx: float32 , backend: Theano} Theano加速是在用户目录下配置的,也就是C:\Users\ current user name \,还有一个新的。兽人诞生了。这个路径可以通过修改Theano的configparser.py来更改,Theano安装在Anaconda\Lib\site-packages中。theanorc.txt:
【全局】openmp=false device=GPU optimizer _ including=cudnn #如果不使用cud nn,则不需要添加。只要是刚刚配置到位的,Floatx=float 32 allow _ Input _ Downcast=true[lib]cn mem=0.8 # the ano黑科技,初始化内存比[blas]ldflags=#加速库[gcc]cxx flags=-IC:\ anaconda 2 \ Mingw[nvcc]fast math=true-flags=-LC:\ anaconda 2 \ libs #更改到您安装的目录-compiler _ zdjydir=d:\ Microsoft Visual Studio 12.0 \ VC \ zjdjjy #
如果CPU的加速版本安装在中,则then orc . txt文件配置如下:
[global]openmp=True device=cpufloatX=float 32 allow _ input _ down cast=True[gcc]cxx flags=-IC:\ anaconda 2 \ MinGW
之后,您可以验证keras是否成功安装。在命令行输入Python命令进入Python,成为命令行环境:
使用Theano(Tensorflow)后端导入kerasUsing。
如果没有错误,那么Keras已经成功安装。
加速试验
环境测试
在命令行中进入Python环境,并输入:
进口茶叶
会出现一系列信息,包括显卡型号,浮点数类型,是否采用CNmem和cuDNN(如果使用)等。所以恭喜你,环境已经完全配置成功了。如果你使用的是Windows系统的阅读器,你的电脑上可能会出现debug这个词。这是第一次用,编译生成运行时很正常。
加速库测试
在Python环境中输入:
导入numpy id(numpy . dot)==id(numpy . core . multi array . dot)
如果结果为假,说明你的电脑除了gpu加速之外,还进行了数学库中的blas加速。按照教程顺序配置的Linux用户肯定会得到错误的结果。如果Windows用户真的这么做也没关系,因为MKL加速库已经内置在Anaconda中。如果想用Openblas,可以按照本文末尾的联系方式联系我。
转速试验
创建一个新文件test.py,包含以下内容:
从ano导入功能,配置,共享,沙盒导入ano。张量as t导入numpy导入时间vlen=10 * 30 * 768 # 10x # coresx #每核线程数#这里可以加一两个零。多测试,记得去掉汉字ITERS=1000 RNG=numpy . random . random state(22)x=shared(numpy . as array(RNG . rand(vlen),config.floatx)) f=function ([]),T . exp(x))print(f . maker . fgraph . toposort())t0=time . time()for I in xrange(ITERS):r=f()t1=time . time()print(循环%d次耗时%f秒 % (iters,t1 - t0))print
在GTX 970显卡下,输出结果大概是0.21秒,100次计算下是19秒,可以对比。理论上与3.3GHz主频的CPU相比,加速比应该是75倍,但是不同的固态硬盘和内存限制了io接口的传输速度。
在Keras中测试mnist数据集
下载Keras开发工具包
git克隆https://github.com/fchollet/keras.gitcd克拉斯/examples/python mnist_mlp.py
程序执行无误,至此,keras安装完成。
Anaconda3中配置遇到异常的解决方案
目前发现用Anaconda3安装theano可能会有冲突:
AttributeError:模块“configparser”没有属性“SafeConfigParser”
只能暂时用以下方法处理:
将anaconda 3 \ lib \ site-packages \ the ano \ config parser . py的文件名修改为例如config_parser.py,在pycharm或其他IDE中随意运行一个cnn脚本,对于遇到的每一个提示错误,手动将引用的文件名修改为theano.config_parser。在更正了对该文件的所有引用之后,应该没有问题了。
声明和联系信息
由于作者水平和研究方向的限制,不可能对所有模块都非常精通,所以文档中难免会出现各种错误、遗漏和不足。如果您在使用过程中有任何意见、建议和问题,请发送电子邮件至scp173.cool@gmail.com,与中文文档的作者取得联系。
本教程不得用于任何形式的商业用途。如需转载,请联系作者或中文文档作者。如发现未经许可转载,将保留追究其法律责任的权利。
作者:SCP-173 e-邮箱:scp173.cool@gmail.com如需及时指导和帮助,可添加微信:SCP173-cool,酌情打赏。
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。