Win10搭建Pyspark2.4.4+Pycharm开发环境(亲测可用)
创始人
2024-05-26 05:04:57
0

下载资源

  • hadoop3.0.0

  • spark-2.4.4-bin-without-hadoop

  • winutils下载(对应hadoop3.0.1的bin目录覆盖本地hadoop的bin目录)

  • jdk1.8(默认已按照配置)

  • conda/anaconda(默认已安装)

注意:cdh6.3.2的spark为2.4.0但是使用2.4.0本地pyspark有bug,下载的文件可能在第一次解压缩后,如未出现目录,则需要修改文件后缀为zip,再次解压缩

python环境(推荐cmd非powershell)

spark2.4.x不支持python3.7以上版本

conda create -n pyspark2.4 python=3.7
activate pyspark2.4
pip install py4j
pip install psutil

pyspark安装方法(推荐一)

  1. %SPARK_HOME%\python\pyspark目录复制到%CONDA_HOME%\pyspark2.4\Lib\site-packages下

  1. pip install pyspark=2.4.4

配置环境变量(自行百度)

以下只是示例,根据实际情况修改,路径不要有空格,如果有使用mklink /J 软链接 目录路径

系统变量添加
HADOOP_HOME
E:\bigdata\ENV\hadoop-3.0.0SPARK_HOME
E:\bigdata\ENV\spark-2.4.4-bin-without-hadoopPYSPARK_PYTHON
C:\Users\zakza\anaconda3\envs\pyspark2.4\python.exePATH添加
%HADOOP_HOME%\bin
%SPARK_HOME%\bin

修改配置文件

配置一 %SPARK_HOME%\conf目录下新建spark-env.cmd文件,内容如下

FOR /F %%i IN ('hadoop classpath') DO @set SPARK_DIST_CLASSPATH=%%i

配置二 %SPARK_HOME%\conf\目录下新建log4j.properties文件,内容如下

#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
## Set everything to be logged to the console
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n# Set the default spark-shell log level to WARN. When running the spark-shell, the
# log level for this class is used to overwrite the root logger's log level, so that
# the user can have different defaults for the shell and regular Spark apps.
log4j.logger.org.apache.spark.repl.Main=WARN# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark_project.jetty=WARN
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

配置Pycharm

注意:配置好环境变量重启下电脑,不然可能存在pycharm无法加载系统环境变量的情况

wc.txt

hello hadoop
hadoop spark python
flink storm spark
master slave
first
second thrid
kafka scikit-learn
flume
hive spark-streaming
hbase

wordcount测试代码

from pyspark import SparkContextif __name__ == '__main__':sc = SparkContext('local', 'WordCount')textFile = sc.textFile("wc.txt")wordCount = textFile.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)wordCount.foreach(print)

正常运行结果:

常见问题:

  1. spark-shell报错Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger

解决方法:见上述配置一

  1. Pyspark报错ModuleNotFoundError: No module named 'resource'

解决方法:spark2.4.0存在的bug,使用spark2.4.4

  1. Pyspark报错org.apache.spark.sparkexception: python worker failed to connect back

解决方法:环境变量未配置正确,检查是否遗漏,并检查pycharm的configuration的环境变量里面能够看到

其他

关于%SPARK_HOME%\python\lib下的py4j-0.10.7-src.zip,pyspark.zip(未配置运行正常),也可以尝试添加到项目

相关内容

热门资讯

万众创新的含义,大众创业 万众... 2017年7月27日,国务院发布《国务院关于强化实施创新驱动发展战略进一步推进大众创业万众创新深入发...
再谈创业者的价值观(创业的价值... 微信官方账号:第一品牌官无论任何时候,我们都在为中国制造业发出品牌声音!01企业家价值观三十年前就有...
未来的创业趋势是什么,创业失败... 这是我们坚信多年的铁律。如果只看注册公司的统计,创业成功率可能真的只有10%,甚至更低。统计显示,8...
第一次创业开什么店好,怎样开公... 在目前的市场环境下,对于一个刚创业的人来说,项目的选择真的很重要,稍有疏忽就很容易导致创业失败。那么...
企业孵化器,创业加速器是什么意... 创业加速器是一种通过教育引导和提供资金等手段来加速初创企业发展的新型创业模式。它只有很短的历史,但这...
借力REITs“东风” 房企谋... 6月27日,中金中国绿发商业资产REIT上市首日开盘涨幅达30%,触及涨停。这是今年以来消费基础设施...
市委全面深化改革委员会召开第十...   本报讯(记者 祁梦竹 范俊生)昨天下午,市委全面深化改革委员会召开第十五次会议,审议《北京市宏观...
人工智能创业项目,数字创业 人... 随着AI行业的快速发展,数据标注行业无疑是一个十亿美元的市场,数据相当于人工智能算法的“燃料”。作为...
大学生创业新颖的点子,创业意识... 关于孩子在业余时间能否赚到零花钱,有两种声音。一个声音认为,孩子的任务是专心学习,赚钱是大人的事,不...
大学生创业计划书怎么写(计算机... 随着网络经济和电子商务的快速发展,网上创业已经成为广州大学生自主创业的重要途径。接下来,请享受学习。...