可以当做一个容器, 比如说 List这样的容器, 是存放数据的, 然后可以通过 rdd 的api对数据进行计算, 还有数据在rdd中是有好多个partition的, 这样可以将一个rdd的数据分成好多个partition 来进行并行计算。
rdd这种对象都是spark的api,哪会有啥不同?
说不同的话,应该是在本地跑spark分析任务和集群跑spark分析任务会有一些差别。在本地跑时处理大文件比较费劲,可能容易内存溢出;集群跑时需要注意占内存的参数需要广播变量,否则影响集群分析的性能。
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....