Guardian丶J
GC全称Garbage Collection，是spark的垃圾回收机制
我在实际中遇到两种情况：
1）给每个task分配的内存的确很少，这时候只要加大executor的内存容量即可解决；
2）机器负载太重，cpu占用过高，导致没有cpu资源进行gc，从而gc时间长。（可以加入sepculate机制）
用户登录
还没有账号?立即注册
用户注册
投稿取消
| 文章分类: |
|
还能输入300字
上传中....
