1 加内存, 简单粗暴
2 将rdd的数据写入磁盘不要保存在内存之中
3 如果是collect操作导致的内存溢出, 可以增大 Driver的 memory 参数
storm用于处理高速、型数据流布式实计算系统hadoop添加靠实数据处理功能 spark采用内存计算迭代批处理发允许数据载入内存作反复查询外融合数据仓库流处理图形计算等种计算范式spark构建hdfs能与hadoop结合rdd特点 hadoop前数据管理标准运用前商业应用系统轻松集结构化、半结构化甚至非结构化数据
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....