Spark3.0发布了,代码拉过来,打个包,跑起来!| 附源码编译

在线wifi跑包 金刚包跑包 cap跑包 hccapx ewsa在线 就来 握手包跑包

各位好 又见面了 我是曹操 今天给大家带来一篇新的教程

希望各位细心学习 低调用网

为了提高文章的SEO效果,我将重新构建以下内容,保持原有信息的基础上,确保相似度低于30%:

标题:Spark 3.0发布:程序员的代码下载和编译指南

......
exec: curl --silent --show-error -L https://downloads.lightbend.com/zinc/0.3.15/zinc-0.3.15.tgz
curl: (77) error setting certificate verify locations:
 ......
exec: curl --silent --show-error -L https://downloads.lightbend.com/scala/2.12.10/scala-2.12.10.tgz
 ......
/home/hdfs/Spark3.0/build/mvn: line 130: cd: /home/hdfs/Spark3.0/build/scala-2.12.10/bin/../lib: No such file or directory
/home/hdfs/Spark3.0/build/mvn: line 131: cd: /home/hdfs/Spark3.0/build/scala-2.12.10/bin/../lib: No such file or directory
exec: curl --silent --show-error -L https://archive.apache.org/dist/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz
......
/home/hdfs/Spark3.0/build/mvn: line 148: /home/hdfs/Spark3.0/build/zinc-0.3.15/bin/zinc: No such file or directory
......
/dev/make-distribution.sh --name spark-3.0  --tgz  -Phadoop-2.6 -Phive -Phive-thriftserver  -Pyarn -DskipTests
VERSION=$("$MVN" help:evaluate -Dexpression=project.version $@ 
    | grep -v "INFO"
    | grep -v "WARNING"
    | tail -n 1)
SCALA_VERSION=$("$MVN" help:evaluate -Dexpression=scala.binary.version $@ 
    | grep -v "INFO"
    | grep -v "WARNING"
    | tail -n 1)
SPARK_HADOOP_VERSION=$("$MVN" help:evaluate -Dexpression=hadoop.version $@ 
    | grep -v "INFO"
    | grep -v "WARNING"
    | tail -n 1)
SPARK_HIVE=$("$MVN" help:evaluate -Dexpression=project.activeProfiles -pl sql/hive $@ 
    | grep -v "INFO"
    | grep -v "WARNING"
    | fgrep --count "hive";
    # Reset exit status to 0, otherwise the script stops here if the last grep finds nothing
    # because we use "set -o pipefail"
    echo -n)
[INFO] Compiling 10 Scala sources to /home/hdfs/Spark3.0/mllib-local/target/scala-2.12/test-classes ...
Java HotSpot(TM) 64-Bit Server VM warning: CodeCache is full. Compiler has been disabled.
Java HotSpot(TM) 64-Bit Server VM warning: Try increasing the code cache size using -XX:ReservedCodeCacheSize=
CodeCache: size=245760Kb used=243977Kb max_used=243996Kb free=1782Kb
 bounds [0x00002aae10000000, 0x00002aae1f000000, 0x00002aae1f000000]
 total_blobs=59407 nmethods=58763 adapters=539
 compilation: disabled (not enough contiguous free space left) 

通过以上步骤,您应该能够成功下载和编译Spark的代码。希望这篇文章对您有所帮助!

export MAVEN_OPTS="-Xms12g -Xmx12g -XX:+UseG1GC -XX:ReservedCodeCacheSize=2g" 

赞(0)