Spark的Web监控页面
在SparkContext中可以看到如下代码:
首先是创建一个Spark Application的Web监控实例对象:
然后bind方法会绑定一个web服务器:
可以看出我们使用Jetty服务器来监控程序的运行和显示Spark集群的信息的。
100只是传给example.jar的程序参数; 以--master指定的master url为准; executor-memory是给每个executor指定使用的内存;total-executor-cores 这个参数是所有的executor使用的总cpu核数。这两个参数需要根据你的机器配置情况以及spark程序的...
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....