启动Spark集群,启动后的WebUI如下
启动Spark Shell
Web控制台查看shell的情况
把Spark安装目录“README.md”拷贝到HDFS系统上在Master节点上新启动一个命令终端,并进入到Spark安装目录下
把文件拷贝到HDFS的root文件夹下
观察一下Web控制台,会发现该文件已经成功上传到HDFS上
在Spark shell之下操作编写代码,操作我们上传的“README.md”
打开spark-shell, 然后里面有默认的sparkcontext, 直接用sc就可以使用
比如 sc.textfile(hdfs://....)
这样就可以使用spark-shell操作spark了
用户登录
还没有账号?立即注册
用户注册
投稿取消
| 文章分类: |
|
还能输入300字
上传中....
總bei傷嗐