gpt4 book ai didi

Spark在Win10下的环境搭建过程

转载 作者:qq735679552 更新时间:2022-09-29 22:32:09 29 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Spark在Win10下的环境搭建过程由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

前言

 本章将介绍如何在WIN10下实现spark环境搭建.

 本章概要

 1、版本说明 。

 2、环境准备:

  • jdk配置;
  • scala安装与配置;
  • spark安装与配置;
  • hadoop安装与配置;

 版本说明

 jdk:1.8 。

 scala:2.11.8 。

 spark:2.3.0 。

 hadoop:2.8.3 。

环境准备

 jdk配置 。

 1、配置JAVA_HOME与Path:

Spark在Win10下的环境搭建过程

 Path 。

Spark在Win10下的环境搭建过程

 2、验证配置:

Spark在Win10下的环境搭建过程

scala安装与配置

 1、scala下载:

 访问官方地址  http://www.scala-lang.org/download/2.11.8.html 。

Spark在Win10下的环境搭建过程

 2、配置Path:

Spark在Win10下的环境搭建过程

 3、验证配置:

    。

 Spark安装与配置

 1、spark下载:

 访问官方地址  http://spark.apache.org/downloads.html 。

Spark在Win10下的环境搭建过程

 选中官方推荐的地址即可下载,其他地址也可用(建议采用迅雷等下载工具下载,速度比较会快很多) 。

Spark在Win10下的环境搭建过程

2、解压至D盘; 。

Spark在Win10下的环境搭建过程

3、配置Path:

Spark在Win10下的环境搭建过程

4、通过spark-shell进入Spark的交互式命令行模式:

Spark在Win10下的环境搭建过程

如上,可以看到对应的spark、scala、java版本,同时也看到了异常信息,该异常信息是由于hadoop导致的,下面来配置hadoop.

Hadoop安装与配置

 1、hadoop下载 。

 访问官方  http://hadoop.apache.org/releases.html 。

Spark在Win10下的环境搭建过程

 进入下载页,如下建议地址(同样建议用迅雷等下载工具下载,速度更快) 。

Spark在Win10下的环境搭建过程

 2、解压至 。

Spark在Win10下的环境搭建过程

3、配置HADOOP_HOME&Path:

Spark在Win10下的环境搭建过程

 path:

Spark在Win10下的环境搭建过程

4、winutils下载:  https://github.com/steveloughran/winutils 。

Spark在Win10下的环境搭建过程

 下载对应版本的bin目录直接替换本地bin目录即可.

5、此时继续spark-shell进入spark命令行交互模式:

Spark在Win10下的环境搭建过程

 此时即不会出现上述的异常提示.

 6、访问控制台中的webui如下:

Spark在Win10下的环境搭建过程

到此这篇关于Spark在Win10下的环境搭建的文章就介绍到这了,更多相关win10 Spark环境搭建内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我! 。

原文链接:https://blog.csdn.net/songhaifengshuaige/article/details/79480491 。

最后此篇关于Spark在Win10下的环境搭建过程的文章就讲到这里了,如果你想了解更多关于Spark在Win10下的环境搭建过程的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com