broadcast 既有名词意思 又有动词意思 broadcasting 是 broadcast的动词的动名词
主要用途有两种:
1)比如对于大小表进行笛卡尔积的时候。如果直接使用 rdda join rddb,这种性能是很差的。而使用了broadcast,将小表broadcast出去,与大表的每个partition进行join,性能会高很多。
2)有一些配置,或者基础数据,直接broadcast出去,这样所有接收到的rdd就有该配置,或者基础数据了。
用户登录
还没有账号?立即注册
用户注册
投稿取消
| 文章分类: |
|
还能输入300字
上传中....
a神话业务客服