1、ApacheMesos
代码托管地址:ApacheSVN
Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享,支持Hadoop、MPI、Hypertable、Spark等。
Mesos是Apache孵化器中的一个开源项目,使用ZooKeeper实现容错复制,使用LinuxContainers来隔离任务,支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序,提供基于Web的用户界面来提查看集群状态。
2、HadoopYARN
代码托管地址:ApacheSVN
YARN又被称为MapReduce2.0,借鉴Mesos,YARN提出了资源隔离解决方案Container,但是目前尚未成熟,仅仅提供Java虚拟机内存的隔离。
对比MapReduce1.x,YARN架构在客户端上并未做太大的改变,在调用API及接口上还保持大部分的兼容,然而在YARN中,开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一个中心的服务,负责调度、启动每一个Job所属的ApplicationMaster,另外还监控ApplicationMaster的存在情况;NodeManager负责Container状态的维护,并向RM保持心跳。ApplicationMaster负责一个Job生命周期内的所有工作,类似老的框架中JobTracker。
Hadoop上的实时解决方案
前面我们有说过,在互联网公司中基于业务逻辑需求,企业往往会采用多种计算框架,比如从事搜索业务的公司:网页索引建立用MapReduce,自然语言处理用Spark等。
3、ClouderaImpala
代码托管地址:GitHub
Impala是由Cloudera开发,一个开源的MassivelyParallelProcessing(MPP)查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax),可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的,第一个版本发布于2012年末。
Impala不再使用缓慢的Hive+MapReduce批处理,而是通过与商用并行关系数据库中类似的分布式查询引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成),可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据,从而大大降低了延迟。
4、Spark
代码托管地址:Apache
Spark是个开源的数据分析集群计算框架,最初由加州大学伯克利分校AMPLab开发,建立于HDFS之上。Spark与Hadoop一样,用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现,使用Scala作为应用框架。
Spark采用基于内存的分布式数据集,优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是,Spark和Scala紧密集成,Scala像管理本地collective对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务,实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。
5、Storm
代码托管地址:GitHub
Storm是一个分布式的、容错的实时计算系统,由BackType开发,后被Twitter捕获。Storm属于流处理平台,多用于实时计算并更新数据库。Storm也可被用于“连续计算”(continuouscomputation),对数据流做连续查询,在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”,以并行的方式运行昂贵的运算。
Hadoop上的其它解决方案
就像前文说,基于业务对实时的需求,各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案,其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。
6、Shark
代码托管地址:GitHub
Shark,代表了“HiveonSpark”,一个专为Spark打造的大规模数据仓库系统,兼容ApacheHive。无需修改现有的数据或者查询,就可以用100倍的速度执行HiveQL。
Shark支持Hive查询语言、元存储、序列化格式及自定义函数,与现有Hive部署无缝集成,是一个更快、更强大的替代方案。
7、Phoenix
代码托管地址:GitHub
Phoenix是构建在ApacheHBase之上的一个SQL中间层,完全使用Java编写,提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan,并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。Phoenix完全托管在GitHub之上。
Phoenix值得关注的特性包括:1,嵌入式的JDBC驱动,实现了大部分的java.sql接口,包括元数据API;2,可以通过多个行键或是键/值单元对列进行建模;3,DDL支持;4,版本化的模式仓库;5,DML支持;5,通过客户端的批处理实现的有限的事务支持;6,紧跟ANSISQL标准。
8、ApacheAccumulo
代码托管地址:ApacheSVN
ApacheAccumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案,基于单元访问控制以及可定制的服务器端处理。使用GoogleBigTable设计思路,基于ApacheHadoop、Zookeeper和Thrift构建。Accumulo最早由NSA开发,后被捐献给了Apache基金会。
对比GoogleBigTable,Accumulo主要提升在基于单元的访问及服务器端的编程机制,后一处修改让Accumulo可以在数据处理过程中任意点修改键值对。
9、ApacheDrill
代码托管地址:GitHub
本质上,ApacheDrill是GoogleDremel的开源实现,本质是一个分布式的mpp查询层,支持SQL及一些用于NoSQL和Hadoop数据存储系统上的语言,将有助于Hadoop用户实现更快查询海量数据集的目的。当下Drill还只能算上一个框架,只包含了Drill愿景中的初始功能。
Drill的目的在于支持更广泛的数据源、数据格式及查询语言,可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析,将是一个专为互动分析大型数据集的分布式系统。
10、ApacheGiraph
代码托管地址:GitHub
ApacheGiraph是一个可伸缩的分布式迭代图处理系统,灵感来自BSP(bulksynchronousparallel)和Google的Pregel,与它们区别于则是是开源、基于Hadoop的架构等。
Giraph处理平台适用于运行大规模的逻辑计算,比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算,被Facebook作为其OpenGraph工具的核心,几分钟内处理数万亿次用户及其行为之间的连接。
11、ApacheHama
代码托管地址:GitHub
ApacheHama是一个建立在Hadoop上基于BSP(BulkSynchronousParallel)的计算框架,模仿了Google的Pregel。用来处理大规模的科学计算,特别是矩阵和图计算。集群环境中的系统架构由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)这3大块组成。
12、ApacheTez
代码托管地址:GitHub
ApacheTez是基于HadoopYarn之上的DAG(有向无环图,DirectedAcyclicGraph)计算框架。它把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成一个较大的DAG任务,减少了Map/Reduce之间的文件存储。同时合理组合其子过程,减少任务的运行时间。由Hortonworks开发并提供主要支持。
13、ApacheAmbari
代码托管地址:ApacheSVN
ApacheAmbari是一个供应、管理和监视ApacheHadoop集群的开源框架,它提供一个直观的操作工具和一个健壮的HadoopAPI,可以隐藏复杂的Hadoop操作,使集群操作大大简化,首个版本发布于2012年6月。
ApacheAmbari现在是一个Apache的顶级项目,早在2011年8月,Hortonworks引进Ambari作为ApacheIncubator项目,制定了Hadoop集群极致简单管理的愿景。在两年多的开发社区显着成长,从一个小团队,成长为Hortonworks各种组织的贡献者。Ambari用户群一直在稳步增长,许多机构依靠Ambari在其大型数据中心大规模部署和管理Hadoop集群。
目前ApacheAmbari支持的Hadoop组件包括:HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。
r语言和hadoop让我们体会到了,两种技术在各自领域的强大。很多开发人员在计算机的角度,都会提出下面2个问题。问题1: hadoop的家族如此之强大,为什么还要结合r语言?
问题2: mahout同样可以做数据挖掘和机器学习,和r语言的区别是什么?下面我尝试着做一个解答:问题1: hadoop的家族如此之强大,为什么还要结合r语言?
a. hadoop家族的强大之处,在于对大数据的处理,让原来的不可能(tb,pb数据量计算),成为了可能。
b. r语言的强大之处,在于统计分析,在没有hadoop之前,我们对于大数据的处理,要取样本,假设检验,做回归,长久以来r语言都是统计学家专属的工具。
c. 从a和b两点,我们可以看出,hadoop重点是全量数据分析,而r语言重点是样本数据分析。 两种技术放在一起,刚好是最长补短!
d. 模拟场景:对1pb的新闻网站访问日志做分析,预测未来流量变化
d1:用r语言,通过分析少量数据,对业务目标建回归建模,并定义指标d2:用hadoop从海量日志数据中,提取指标数据d3:用r语言模型,对指标数据进行测试和调优d4:用hadoop分步式算法,重写r语言的模型,部署上线这个场景中,r和hadoop分别都起着非常重要的作用。以计算机开发人员的思路,所有有事情都用hadoop去做,没有数据建模和证明,”预测的结果”一定是有问题的。以统计人员的思路,所有的事情都用r去做,以抽样方式,得到的“预测的结果”也一定是有问题的。所以让二者结合,是产界业的必然的导向,也是产界业和学术界的交集,同时也为交叉学科的人才提供了无限广阔的想象空间。问题2: mahout同样可以做数据挖掘和机器学习,和r语言的区别是什么?
a. mahout是基于hadoop的数据挖掘和机器学习的算法框架,mahout的重点同样是解决大数据的计算的问题。
b. mahout目前已支持的算法包括,协同过滤,推荐算法,聚类算法,分类算法,lda, 朴素bayes,随机森林。上面的算法中,大部分都是距离的算法,可以通过矩阵分解后,充分利用mapreduce的并行计算框架,高效地完成计算任务。
c. mahout的空白点,还有很多的数据挖掘算法,很难实现mapreduce并行化。mahout的现有模型,都是通用模型,直接用到的项目中,计算结果只会比随机结果好一点点。mahout二次开发,要求有深厚的java和hadoop的技术基础,最好兼有 “线性代数”,“概率统计”,“算法导论” 等的基础知识。所以想玩转mahout真的不是一件容易的事情。
d. r语言同样提供了mahout支持的约大多数算法(除专有算法),并且还支持大量的mahout不支持的算法,算法的增长速度比mahout快n倍。并且开发简单,参数配置灵活,对小型数据集运算速度非常快。
虽然,mahout同样可以做数据挖掘和机器学习,但是和r语言的擅长领域并不重合。集百家之长,在适合的领域选择合适的技术,才能真正地“保质保量”做软件。
如何让hadoop结合r语言?
从上一节我们看到,hadoop和r语言是可以互补的,但所介绍的场景都是hadoop和r语言的分别处理各自的数据。一旦市场有需求,自然会有商家填补这个空白。
1). rhadoop
rhadoop是一款hadoop和r语言的结合的产品,由revolutionanalytics公司开发,并将代码开源到github社区上面。rhadoop包含三个r包 (rmr,rhdfs,rhbase),分别是对应hadoop系统架构中的,mapreduce, hdfs, hbase 三个部分。
2). rhiverhive是一款通过r语言直接访问hive的工具包,是由nexr一个韩国公司研发的。
3). 重写mahout用r语言重写mahout的实现也是一种结合的思路,我也做过相关的尝试。
4).hadoop调用r
上面说的都是r如何调用hadoop,当然我们也可以反相操作,打通java和r的连接通道,让hadoop调用r的函数。但是,这部分还没有商家做出成形的产品。
5. r和hadoop在实际中的案例
r和hadoop的结合,技术门槛还是有点高的。对于一个人来说,不仅要掌握linux, java, hadoop, r的技术,还要具备 软件开发,算法,概率统计,线性代数,数据可视化,行业背景 的一些基本素质。在公司部署这套环境,同样需要多个部门,多种人才的的配合。hadoop运维,hadoop算法研发,r语言建模,r语言mapreduce化,软件开发,测试等等。所以,这样的案例并不太多。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....