2.1.2在Windows上安装与配置Spark 本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。 (1)安装JDK 相对于Linux、Windows的JDK安装更加自动化
2.1.2 在windows上安装与配置spark
本节介绍在windows系统上安装spark的过程。在windows环境下需要安装cygwin模拟linux的命令行环境来安装spark。
(1)安装jdk
相对于linux、windows的jdk安装更加自动化,用户可以下载安装oracle jdk或者openjdk。只安装jre是不够的,用户应该下载整个jdk。
安装过程十分简单,运行二进制可执行文件即可,程序会自动配置环境变量。
(2)安装cygwin
cygwin是在windows平台下模拟linux环境的一个非常有用的工具,只有通过它才可以在windows环境下安装hadoop和spark。具体安装步骤如下。
1)运行安装程序,选择install from internet。
2)选择网络最好的下载源进行下载。
3)进入select packages界面(见图2-2),然后进入net,选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。
另外应该安装“editors category”下面的“vim”。这样就可以在cygwin上方便地修改配置文件。
最后需要配置环境变量,依次选择“我的电脑”→“属性”→“高级系统设置”→“环境变量”命令,更新环境变量中的path设置,在其后添加cygwin的bin目录和cygwin的usr\bin两个目录。
(3)安装sshd并配置免密码登录
1)双击桌面上的cygwin图标,启动cygwin,执行ssh-host-config -y命令,出现如图2-3所示的界面。
2)执行后,提示输入密码,否则会退出该配置,此时输入密码和确认密码,按回车键。最后出现host configuration finished.have fun!表示安装成功。
3)输入net start sshd,启动服务。或者在系统的服务中找到并启动cygwin sshd服务。
注意,如果是windows 8操作系统,启动cygwin时,需要以管理员身份运行(右击图标,选择以管理员身份运行),否则会因为权限问题,提示“发生系统错误5”。
(4)配置ssh免密码登录
1)执行ssh-keygen命令生成密钥文件,如图2-4所示。
2)执行此命令后,在你的cygwin\home\用户名路径下面会生成.ssh文件夹,可以通过命令ls -a /home/用户名 查看,通过ssh -version命令查看版本。
3)执行完ssh-keygen命令后,再执行下面命令,生成authorized_keys文件。
cd ~/.ssh/
cp id_dsa.pub authorized_keys
这样就配置好了sshd服务。
(5)配置hadoop
修改和配置相关文件与linux的配置一致,读者可以参照上文linux中的配置方式,这里不再赘述。
(6)配置spark
修改和配置相关文件与linux的配置一致,读者可以参照上文linux中的配置方式,这里不再赘述。
(7)运行spark
1)spark的启动与关闭
①在spark根目录启动spark。
./sbin/start-all.sh
②关闭spark。
./sbin/stop-all.sh
2)hadoop的启动与关闭
①在hadoop根目录启动hadoop。
./sbin/start-all.sh
②关闭hadoop。
./sbin/stop-all.sh
3)检测是否安装成功
正常状态下会出现如下内容。
-bash-4.1# jps
23526 jps
2127 master
7396 namenode
7594 secondarynamenode
7681 resourcemanager
1053 datanode
31935 nodemanager
1405 worker
如缺少进程请到logs文件夹下查看相应日志,针对具体问题进行解决。
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....