• 安装 pyspark, pip install pyspark 即可，具体可见链接

  • jupyter下用spark有两种方式，见链接

    • 配置一些环境变量，直接使用
    • 用findspark
    • 添加kernel

  • 为了简单一点，我用的第二种。现在目标不在环境安装上

    • pip install findspark
    • 这个时候在jupyter中调用sc = SparkContext会报错，告知无法找到SPARK_HOME
    • 修改 /home/yudun1989/miniconda3/envs/py3/share/jupyter/kernels/python3/kernel.json
    • 把conda中pyspark的位置填写上 "env": {"SPARK_HOME":"/home/yudun1989/miniconda3/envs/py3/lib/python3 …