理论上来讲,学习spark和storm是不需要学习hadoop的。spark和storm都是独立的开源项目,在完整性上是self-constrained的,完全可以独立学习。从循序渐进的角度,还是可以了解一下hadoop的,以spark为例,理解了hadoop的mapreduce,知道它的缺陷,才能更好的理解spark的优势和最佳的应用场景,毕竟很多开源项目都是站在hadoop的肩膀上来的。Good luck!
当然,起码hadoop框架内的mapreduce(分布式计算模块)和hdfs(分布式文件存储系统)你要学习,mr能够帮助你深入理解分布式的计算思维,hdfs则是大数据领域内最为常用,最为常见的文件存储系统,spark也同样要依托于hdfs进行很多的计算,另外还有hadoop2.x里面的yarn(一种可以用于多种框架的资源调度系统),spark企业级应用都是基于spark on yarn模式的
热门文章更多>>
标签更多>>
专题更多>>
最新文章更多>>
- 团队城市未满足要求:MSBuildTools12.0_x86_Path 存在
- 使用 MSBuild.exe 在发布模式下构建 C# 解决方案
- 当我发布 Web 应用程序时,AfterPublish 脚本不运行
- 构建时 T4 转换的产品仅在下一个构建中使用
- ASP.NET Core Application (.NET Framework) for Windows x64 only error in project.assets.json
- 新的 .csproj 格式 - 如何将整个目录指定为“链接文件"到子目录?
- 如何将条件编译符号(DefineConstants)传递给 msbuild
- MSBuild 支持 Visual Studio 2017 RTM 中的 T4 模板
- NuGet 包还原找不到包,没有源
- 使用 C# 6.0 功能运行 TFS 构建
蜗牛的倔强