Caffeonspark文章里讲到底层caffe之间直接通过mpi进行通信,而sparknet是在spark中把caffe的数据(网络模型参数)抓出来再平均完了再重新灌入到caffe中。相对来说caffeonspark应该效率更高。多gpu上,caffeonspark是通过指定参数设定每个机器的gpu数目 即devices。完了再够早spark肿caffenet时将该参数传入,底层使用caffe的多gpu实现。sparknet多gpu是个啥情况不清楚。数据方面caffeonspark可以使用lmdb而sparknet目前还不能直接读取lmdb,这个可以自己实现。数据都是先变成spark的rdd,完了通过接口将数据灌入到caffe中完成计算。
有些事情别人帮不了你,还是得自己拿主意。
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....