1,构建系统的选择,sbt更合适用来构建Scala工程,maven更合适用来构建Java工程
2,对于spark中的API来说,Java和Scala有差别,但差别并不大
3,如果用Scala开发spark原型程序,可以用spark-shell“打草稿”,或者直接使用spark-shell做交互式实时查询
4,用Scala代码量将减少甚至一个数量级,不过Scala的使用门槛较高
就个人体会来说,scala相对于java的优势是巨大的。熟悉scala之后再看java代码,有种读汇编的感觉……
如果仅仅是写spark应用,并非一定要学scala,可以直接用spark的java api或python api。但因为语言上的差异,用java开发spark应用要罗嗦许多。好在带lambda的java 8出来之后有所改善。
在spark应用开发上,学scala主要好处有二:
开发效率更高,代码更精简;
使用spark过程中出现异常情况,在排查时如果对spark源码比较熟悉,可以事半功倍。
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....