我有64内存,spark设置了40G;这个是自己根据需求设定的;
spark-env.sh中的这三个参数都设置一下,是内存、cpu的关系
export SPARK_EXECUTOR_INSTANCES=1
export SPARK_EXECUTOR_MEMORY=40G
export SPARK_EXECUTOR_CORES=14
storm用于处理高速、型数据流布式实计算系统hadoop添加靠实数据处理功能 spark采用内存计算迭代批处理发允许数据载入内存作反复查询外融合数据仓库流处理图形计算等种计算范式spark构建hdfs能与hadoop结合rdd特点 hadoop前数据管理标准运用前商业应用系统轻松集结构化、半结构化甚至非结构化数据
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....