hadoop高可用搭建
基于Apache Hadoop2.6.0版本搭建高可用Hadoop平台,实现HDFS HA和RM HA,并实现Hadoop的简易自动化。后续持续更新构架HIVE高可用平台,高可用Flume日志平台,离线+实时平台。 单节点localhost. 否则...部署云计算运维管理的十六大功能
云管理的最终目标是实现IT能力的服务化供应,并实现云计算的各种特性:资源共享、自动化、按使用付费、自服务、可扩展等。云计算商业模式就是要实现IT即服务,无论是对外还是在企业内部,...- 0
- 0
- 0
- 0
- 0
大数据的美好未来
过去20年间,微软研究院位于世界各地的实验室都在集中力量研究计算机科学领域中各种课题。研究院从一开始就投入巨资,力图在机器智能领域取得突破,其中包括在机器学习和大数据。在这...- 0
- 0
- 0
- 0
- 0
mapreduce 输入格式
part-r-0000这个文件时存放在hdfs上的,并非本地文件系统,所以你当然找不到了,你只能通过hdfs的命令查看,或者使用插件。 hdfs的文件虽然底层也是存放在本地文件系统的,但是你是没法显式查看的,跟...- 0
- 0
- 0
- 0
- 0
人工智能实践
如果你只是学习人工智能的话,不大需要学习电子方面的东西,除非你是研究机电一体化,或者是机器人方面的,如果只是研究智能算法,顶多学习一门编程语言,并熟悉下算法及数据结构,数学起码有一定基础...- 0
- 0
- 0
- 0
- 0
tensorflow cnn 例子
预测一个样本的时候同样可以看做是预测一批样本, 只不过这一批只有一个X-test = [ x0,x1,x2 ... ]model.predict(X-test) 或者 model.predict( [ x0 ] ) 或者 model.predict( X-test[0:1]...- 0
- 0
- 0
- 0
- 0
果子狸sas
花面狸是果子狸果子狸(学名:Paguma larvata)别 称,白鼻心、花面狸、毛老鼠、白眉子等,属于食肉目、灵猫科、花面狸属的一种珍贵的野生动物,体色为黄灰褐色,身体略胖,颈部粗短,和身体不易区分。果子狸...- 0
- 0
- 0
- 0
- 0
zookeeper节点配置
选举机制(FastLeaderElection算法):sid最大且被超过集群中超过半数的机器拥护就会成为leader.所以只有两种情况无法选出leader:整个集群只有2台服务器(注意不是只剩2台,而是集群的总节点数为2)...- 0
- 0
- 0
- 0
- 0
impala 更新数据
Impala获取hive的metadataImpala通常和Hive共用同一个metadata数据库(通常是MySQL/PostgreSQL),所以Impala能够读取到Hive的元数据信息.如果Impala需要访问Hive表,需要将Hivemetadata刷新到impa...- 0
- 0
- 0
- 0
- 0
hadoop工程师40岁后
唯一的出路就是把身体锻炼好,业余时间都花在健身上,只要你有一个健康的身体和健康的生活观,这个世界就饿不死人。其余的只需要顺其自然即可。当你躺在病床上,你向往的可不是什么程序员,什么总监,...- 0
- 0
- 0
- 0
- 0
避开私有云失败的5个小贴士
PistonCloudComputing的CTOJoshMcKenty称,将试验项目转化为生产型私有云的主力军是基于OpenStack的提供商,并且转化率非常低。他说:“大概每20个试验项目中只有一个能够转化为生产...- 0
- 0
- 0
- 0
- 0
传统零售业学习互联网思维 瞄上大数据创新
天猫单日成交额350亿、京东前后12天累计100亿、腾讯电商全天9亿……在刚刚过去的11月11日,众电商合力导演了一台名叫“双十一”的年度促销大戏。尽管人气不如从前,但传统零售业并未坐以...- 0
- 0
- 0
- 0
- 0
mapreduce hbase 性能
使用MapReduce把Nutch提取的Segment中data文件里信息保存到Hbase里。刚刚接触MapReduce和Nutch,练习的处理一个功能。所以有很多不足之处。例如获取编码和获取域名分享出来想请大家指点,纠正一下。...- 0
- 0
- 0
- 0
- 0
人工智能 产业链
人工智能在图像识别、语言识别和自然语言处理,以及人机交互、机器视觉、自动驾驶等方面都已经成功应用。人工智能产业链根据技术层级从上到下,分为基础层、技术层和应用层。基础层最靠近“云”,应用层最...- 0
- 0
- 0
- 0
- 0
tensorflow gpu 编译
Tensor-flow 默认使用一个gpu进行运算(如果有gpu)。具体的调用会在程序里。如果要使用多gpu要相应修改程序。至于哪部份会放到gpu上跑,一般来说是model training的部分,因为这部分程序是computatio...- 0
- 0
- 0
- 0
- 0
Sas免费版
SAS软件使用费大学打折都要十几万。能有SAS免费的盗版软件可以下到,就很不错了。免费正版软件,不可能。 我也正想问这个问题呢 想要正版的sas软件直接联系sas公司如果想免费的,那就只能用盗版的,...- 0
- 0
- 0
- 0
- 0
zookeeper quorum
配置Zookeeper的信息,因为要高可用,所以用Zookeeper进行集群监控、自动故障恢复。hbase.zookeeper.quorum这个配置你写上Zookeeper的节点host:port hbase使用zookeeper的地址,例如hadoop01:2181,...- 0
- 0
- 0
- 0
- 0
impala 两张表查询
SELECTorgid,orgname,COUNT(*)CNTFROM(SELECTorgid,orgnameFROMt1UNIONALLSELECTorgid,orgnameFROMt2)GROUPBYorgid,orgname;或SELECTorgid,orgname,sum(cn)CNTFROM(SELECTorgid,orgname,count(...- 0
- 0
- 0
- 0
- 0
hadoop完全分布式安装
安装流程 我们先来回顾上一篇我们完成的单节点的Hadoop环境配置,已经配置了一个CentOS6.8并且完成了java运行环境的搭建,Hosts文件的配置、计算机名等诸多细节。 其实完成这一步之后我们...- 0
- 0
- 0
- 0
- 0