jupyter notebook安装python库,jupyter notebook 服务器搭建
安装并启动朱皮特安装蟒蛇后,再安装朱皮特
点安装朱皮特
设置环境
ipython - ipython-dir=#覆盖默认的IPYTHONDIR目录,~/。ipython/默认情况下
分析概要文件创建foo #创建概要文件富(中国姓氏)
分析配置文件定位foo #查找富(中国姓氏)配置文件目录,默认为IPYTHONDIR,
ipython - profile=foo #使用新配置文件启动分析
启动朱皮特的几个命令,启动后,默认还将启动一个浏览器进入笔记本环境
分析笔记本#启动朱皮特笔记本服务器,使用默认端口8080
分析笔记本- ip=0.0.0.0 -端口=80 #启动朱皮特笔记本服务器,指定端口
分析笔记本- profile=foo #使用富(中国姓氏)简介启动朱皮特笔记本服务器
分析笔记本- pylab inline #启用皮拉布图形支持
分析笔记本是老版本的命令组合,新版是朱皮特笔记本命令组合,如果使用蟒蛇的发布包,直接使用朱庇特笔记本这个工具。
更多朱皮特使用信息,见
http://号nbviewer。朱庇特。org/github/ipython/ipython/blob/3。x/示例/笔记本/笔记本基础。ipynb
定制jupyter[根#]./jupyter-笔记本-生成-配置
将生成一个朱皮特的配置文件,比如/root/.jupyter/jupyter _ notebook _ config。py,在其中可配置笔记本应用程序的基本信息
文件名为:/root/.jupyter/jupyter _ notebook _ config。巴拉圭
c=get_config()
c.IPKernelApp.pylab=inline
c.记事本App.ip=0.0.0.0
c.NotebookApp.open_browser=False
c.NotebookApp.port=8880 #或任何你想要的为笔记本的细胞增加行数在~/.ipython/profile _ foo/static/自定义/自定义。射流研究…增加下面几行
定义([
基本/js/命名空间,
基础/js/事件
],
函数(IPython,事件){
events.on(app_initialized .记事本应用,
函数(){
要求(笔记本/js/cell )。细胞。选项_默认。cm _ config。行号=true
}
);
}
);更改朱皮特的主题https://github.com/transcranial/jupyter-themer
更改命令
朱庇特-themer -c monokai
访问远端的笔记本服务器如果是在远端开启了笔记本服务器,在本机浏览器直接访问,将不能打开,这应该是笔记本服务器为安全考虑,有意屏蔽非本机的访问。当然,我们总不能一直通过x-windows到远端打开浏览器使用笔记本吧。
1.最简单的做法是,启动笔记本服务器时,加上参数- ip=0.0.0.0,即:/jupyter-notebook-port=7777-IP=0。0 .0 .0
2.另一个方法是:在本机使用嘘软件建立一个连接远端的嘘隧道,本机浏览器通过嘘隧道就可以访问远端的笔记本服务器。比如,我习惯使用油灰,方法是:
油灰连接嘘隧道
在添加新转发端口:下,输入以下信息:
源端口:本地端口
目标:远程主机:远程端口
单击添加。然后,使用这个配置嘘连接远端服务器。
访问远端的ipythonjupyter是使用标签能进行代码补全,但在浏览器中有时并不起作用,使用远端的分析就没有这个问题,当然分析在EDA(探索式数据分析)文档化方面比笔记本弱多了,鱼和熊掌不能皆得。我更喜欢ipython qtconsole方式。
连接远端分析的步骤:
远端开启分析主机,命令为/ipython kernel-f ~/ipython-connect-info。JSON #这是一个没有前端的分析进程。将远端的ipython-connect-info.json文件复制到本机,修改其中的互联网协议(互联网协议的缩写)地址为远端真实的地址本机上使用油灰为ipython-connect-info.json文件中的5个港口都开启嘘隧道本机执行ipython qtconsole -现有c:\ipython-connect-info.json与PySpark集成分析和普通的计算机编程语言解释器相比,优点在于对交互性支持更好,所以PySpark只有在需要更好交互性的情形下,才有集成分析的必要,显然只有pyspark外壳才需要集成IPython .
朱皮特和PySpark外壳集成方式有好几种,比如:
先启动IPython,然后调用pyspark\shell.py启动火花。
启动分析后,我们可以手动调用pyspark\shell.py,将调用脚本加到分析配置文件目录中自动启动,自动启动大蟒程序。调用pyspark\shell.py应放在文件~/.ipython/profile _ foo/startup/00-py spark-setup。巴拉圭中。
00-pyspark-setup.py的写法可参考https://github.com/harisekhon/pytools/blob/master/.ipython-笔记本-pyspark。00-py spark-设置。巴拉圭
采用分析这个高级解释者来启动pyspark例子1, 在发动主服务器上以笔记本的形式启动pyspark外壳。如果指定-主人参数,必须首先通过开始-主人嘘启动主人;如果省略该参数,则会pyspark会自动启动掌握进程。
spark _ master _ node $ py spark _ DRIVER _ PYTHON=/usr/PYTHON _ anaconda/bin/ipython py spark _ DRIVER _ PYTHON _ OPTS= notebook-no-browser-IP=0。0 .0 .0-port=7777 py spark-master spark://快速启动。云时代:7077
例子2, 在发动主服务器上以分析内核的形式启动pyspark外壳,以便其他机器连入
spark _ master _ node $ py spark _ DRIVER _ PYTHON=/usr/PYTHON _ anaconda/bin/ipython py spark _ DRIVER _ PYTHON _ OPTS= kernel-f ~/ipython-connect-info。JSON py spark-master spark://快速入门。云时代:7077
例子3, 在发动主服务器上以笔记本的形式启动pyspark外壳,并加载额外的包装,指定内存参数。
spark _ master _ node $ py spark _ DRIVER _ PYTHON=ipython py spark _ DRIVER _ PYTHON _ OPTS= notebook-no-browser-port=7777-profile=foo py spark-packages com。数据砖:spark-CSV _ 2.10:1。1 .0-主火花://火花主人主机名:7077-执行器-内存6400米-驱动程序-内存6400米
设置PYSPARK_DRIVER_PYTHON和PYSPARK_DRIVER_PYTHON_OPTS环境变量后,之后调用pyspark将采用这两个环境变量指定的计算机编程语言解释器配置来运行大蟒版发动应用。
注意不应该出口这两个环境变量,因为出口后,非壳的pyspark火花应用也将使用分析运行,容易造成滥用。
虽然我不推荐在Linux操作系统配置文件将PYSPARK_DRIVER_PYTHON设置为IPython,但我推荐将PYSPARK_DRIVER_PYTHON设置为蟒蛇的python,因为这将省去安装额外科学计算包的麻烦,当然,环境变量PYSPARK_DRIVER_PYTHON_OPTS不应该再带上笔记本或核心参数。
最好在火花环境增加下面四个参数,
工人和驾驶员的大蟒版本应该是一致的,否则发动会报错的,当然驾驶员可以设置为ipython。导出py spark _ PYTHON=/usr/bin/PYTHON 3
导出py spark _ DRIVER _ PYTHON=/usr/bin/ipython 3
为了简化提交pyspark应用的提交,可以预先设置一个一个参数名派斯帕克提交环境变量export py spark _ SUBMIT _ ARGS=-master local[2]
导出py spark _ SUBMIT _ ARGS=-主纱线-部署模式客户端-数量-执行器24-执行器-内存10g-执行器-核心5
参考文章如何:将分析笔记本与阿帕奇火花一起使用
http://www.tuicool.com/articles/rqIv6z
http://博客。云时代。com/blog/2014/08/如何使用-ipython-notebook-with
如何安装PySpark并与分析笔记本集成
https://www.dataquest.io/blog/installing-pyspark/
http://www.tuicool.com/articles/VFn6j2Y
为PySpark配置分析笔记本支持
拉姆希塞街http://号。com/2015/02/01/configuring-ipython-notebook-support-for-py spark/
在阿帕奇火花上使用朱庇特:一步一步使用1tb的Reddit数据
http://博客。insightdatalabs。Apache-spark河畔的jupyter逐步/
如何自定义朱皮特笔记本的主题
朱皮特细胞增加行数
https://堆栈溢出。com/questions/2019 74 71/how-to-display-line-numbers-in-ipython-notebook-code-cell-by-default/2019 78 78
火花编程环境搭建(IPython)
http://www.kinelf.com/?p=169
如何使用码头工人快速配置数据科学开发环境(搭建码头工人朱皮特环境)
https://linux.cn/article-6644-1.html
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。