jupyter notebook的搭建、连接jupyter与spark
安装python更新软件包sudo apt-get update没想到出错了上网查了资料,找到了一个解决办法切换到国内源,使用清华大学开源软件镜像站网址:https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/打开文件,将其中内容全部替换成以下内容sudo cp /etc/apt/sources.list /etc/apt/sources_default.
安装python
更新软件包
sudo apt-get update
没想到出错了
上网查了资料,找到了一个解决办法
切换到国内源,使用清华大学开源软件镜像站
网址:https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/
打开文件,将其中内容全部替换成以下内容
sudo cp /etc/apt/sources.list /etc/apt/sources_default.list
sudo vim /etc/apt/sources.list
再次更新软件包,成功
安装 python3
sudo apt-get install python3
安装python第三方安装工具
sudo apt-get install python3-pip
查看python3版本信息
python3 -V
安装jupyter notebook
下载jupyter notebook
pip3 install jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple
运行 jupyter notebook
jupyter notebook
出现如下图所示错误,需要把jupyter的安装路径加入环境变量
利用find命令查找jupyter的安装路径
将查找到的jupter路径添加到环境变量中
sudo vim ~/.bashrc
export PATH=~/.local/bin:${PATH}
让环境变量生效
source ~/.bashrc
再次运行 jupyter notebook,成功,会自动跳转到jupyter网页
连接jupyter与spark
安装 findspark
pip3 install findspark
在jupter网页新建一个python3文件,测试 jupyter 是否成功连接 spark
import findspark
findspark.init("/usr/local/spark") # 指明SPARK_HOME
import pyspark
from pyspark import SparkContext, SparkConf
print("hello spark")
成功连接,会输出hello spark
好了,jupyter notebook的搭建、jupyter与spark的连接就完成了,有哪里不对的地方可以随时指出来哦
更多推荐
所有评论(0)