华为云电脑能装软件吗
可以的,它相当于在手机上提供一部个人电脑,你当然可以在自己的个人电脑上,安装你喜欢的软件。
我在里面安装了Photoshop(修图),Office的Word,PPT,Excel, Xmind思维导图,同花顺(炒股)。
因为男朋友是程序员,我也安装了sublime和eclipse给他敲代码。
你也可以安装游戏软件,穿越火线,英雄联盟这些都可以啊。
如何安装hadoop
在Linux上安装Hadoop之前,需要先安装两个程序: 1. JDK 1.6或更高版本; 2. SSH(安全外壳协议),推荐安装OpenSSH。
下面简述一下安装这两个程序的原因: 1. Hadoop是用Java开发的,Hadoop的编译及MapReduce的运行都需要使用JDK。
2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程,因此SSH也是必须安装的,即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。
对于伪分布式,Hadoop会采用与集群相同的处理方式,即依次序启动文件conf/slaves中记载的主机上的进程,只不过伪分布式中salve为localhost(即为自身),所以对于伪分布式Hadoop,SSH一样是必须的。
一、安装JDK 1.6 安装JDK的过程很简单,下面以Ubuntu为例。
(1)下载和安装JDK 确保可以连接到互联网,输入命令:sudo apt-get install sun-java6-jdk 输入密码,确认,然后就可以安装JDK了。
这里先解释一下sudo与apt这两个命令,sudo这个命令允许普通用户执行某些或全部需要root权限命令,它提供了详尽的日志,可以记录下每个用户使用这个命令做了些什么操作;同时sudo也提供了灵活的管理方式,可以限制用户使用命令。
sudo的配置文件为/etc/sudoers。
apt的全称为the Advanced Packaging Tool,是Debian计划的一部分,是Ubuntu的软件包管理软件,通过apt安装软件无须考虑软件的依赖关系,可以直接安装所需要的软件,apt会自动下载有依赖关系的包,并按顺序安装,在Ubuntu中安装有apt的一个图形化界面程序synaptic(中文译名为“新立得”),大家如果有兴趣也可以使用这个程序来安装所需要的软件。
(如果大家想了解更多,可以查看一下关于Debian计划的资料。
) (2)配置环境变量 输入命令:sudo gedit /etc/profile 输入密码,打开profile文件。
在文件的最下面输入如下内容:#set Java Environment export JAVA_HOME= (你的JDK安装位置,一般为/usr/lib/jvm/java-6-sun) export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH" export PATH="$JAVA_HOME/:$PATH" 这一步的意义是配置环境变量,使你的系统可以找到JDK。
(3)验证JDK是否安装成功 输入命令:java -version 查看信息:java version "1.6.0_14" Java(TM) SE Runtime Environment (build 1.6.0_14-b08) Java HotSpot(TM) Server VM (build 14.0-b16, mixed mode) 二、配置SSH免密码登录 同样以Ubuntu为例,假设用户名为u。
1)确认已经连接上互联网,输入命令 sudo apt-get install ssh 2)配置为可以无密码登录本机。
首先查看在u用户下是否存在.ssh文件夹(注意ssh前面有“.”,这是一个隐藏文件夹),输入命令:ls -a /home/u 一般来说,安装SSH时会自动在当前用户下创建这个隐藏文件夹,如果没有,可以手动创建一个。
接下来,输入命令:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 解释一下,ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思,即密钥类型;-P用于提供密语;-f指定生成的密钥文件。
(关于密钥密语的相关知识这里就不详细介绍了,里面会涉及SSH的一些知识,如果读者有兴趣,可以自行查阅资料。
) 在Ubuntu中,~代表当前用户文件夹,这里即/home/u。
这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub,这是SSH的一对私钥和公钥,类似于钥匙及锁,把id_dsa.pub(公钥)追加到授权的key里面去。
输入命令:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 这段话的意思是把公钥加到用于认证的公钥文件中,这里的authorized_keys是用于认证的公钥文件。
至此无密码登录本机已设置完毕。
安装在PC上的软件都可以直接装在服务器系统吗?
你好!这绝对是可以的啊。
因为服务器系统的配置一般情况下都是要比PC机要来的好,你PC上能够安装的软件,也绝对可以安装在服务器上。
但是如果你服务器上正在启用数据库,或者在运营其它项目的时候,你就要去安装它了,因为这样会影响网络玩家的玩的速度,这样导致整体性质下降,这个切记!还有一个要提醒的就是,服务器系统中有杀毒软件的话,你就不要安装别的杀毒软件,以免发生冲突。
其次,服务器当中安装的SQL数据库千万去卸载,要不然有可能下次安装就安装不了,所以关键时刻不要动用服务器,以免造成无法挽回的错误。
当然,在空闲的服务器系统中,你可以可以安装一下无碍,因为服务器系统绝对比你PC系统好。
希望我的回答能让你满意。
搭建一个hadoop2.x需要准备哪些软件
工具/原料linux系统(本篇使用的是CentOS v6.5)Hadoop安装包(本篇使用的是hadoop v2.6.0)环境要求1需要安装JDK6.0以上版本(可自行解压安装或使用自带的软件安装包,如yum)2需要无密码登录的SSH环境(安装ssh及sshd,具体配置步骤在后面介绍)END安装/配置 步骤1配置hosts文件,将主机名和对应IP地址映射。
如图中Master、Slave1和Slave2是我们要搭建分布式环境的机器。
Master为主机,Slavex为从机。
2配置SSH的无密码登录:可新建专用用户hadoop进行操作,cd命令进入所属目录下,输入以下指令(已安装ssh)ssh-keygen -t rsa -P ""cat .ssh/id_rsa.pub >>.ssh/authorized_keys解释一下,第一条生成ssh密码的命令,-t 参数表示生成算法,有rsa和dsa两种;-P表示使用的密码,这里使用“”空字符串表示无密码。
第二条命令将生成的密钥写入authorized_keys文件。
这时输入 ssh localhost,弹出写入提示后回车,便可无密码登录本机。
同理,将authorized_keys文件 通过 scp命令拷贝到其它主机相同目录下,则可无密码登录其它机器。
3安装hadoop:安装方式很简单,下载安装包到所属目录下,使用tar -zxvf 安装包名进行解压,解压完毕可通过mv 命令重命名文件夹,安装至此完成。
解压后的目录内容如图所示。
4hadoop配置过程:要实现分布式环境,配置过程是最为重要的,这里要涉及到的配置文件有7个:~/hadoop/etc/hadoop/hadoop-env.sh~/hadoop/etc/hadoop/yarn-env.sh~/hadoop/etc/hadoop/slaves~/hadoop/etc/hadoop/core-site.xml~/hadoop/etc/hadoop/hdfs-site.xml~/hadoop/etc/hadoop/mapred-site.xml~/hadoop/etc/hadoop/yarn-site.xml之后会分别介绍各个配置的的作用和配置关键5配置文件1:hadoop-env.sh该文件是hadoop运行基本环境的配置,需要修改的为java虚拟机的位置。
故在该文件中修改JAVA_HOME值为本机安装位置(如,export JAVA_HOME=/usr/lib/jvm/java-1.7.0)6配置文件2:yarn-env.sh该文件是yarn框架运行环境的配置,同样需要修改java虚拟机的位置。
在该文件中修改JAVA_HOME值为本机安装位置(如,export JAVA_HOME=/usr/lib/jvm/java-1.7.0)7配置文件3:slaves该文件里面保存所有slave节点的信息,以本篇为例写入以下内容(hosts里从机的主机名):Slave1Slave28配置文件4:core-site.xmlhadoop.tmp.dir/data/hadoop-${user.name}fs.default.namehdfs://Master:9000这个是hadoop的核心配置文件,这里需要配置的就这两个属性,fs.default.name配置了hadoop的HDFS系统的命名,位置为主机的9000端口;hadoop.tmp.dir配置了hadoop的tmp目录的根位置。
这里使用了一个文件系统中没有的位置,所以要先用mkdir命令新建一下。
9配置文件5:hdfs-site.xmldfs.http.addressMaster:50070dfs.namenode.secondary.http-addressMaster:50090dfs.replication1这个是hdfs的配置文件,dfs.http.address配置了hdfs的http的访问位置;dfs.replication配置了文件块的副本数,一般不大于从机的个数。
10配置文件6:mapred-site.xmlmapred.job.trackerMaster:9001 mapred.map.tasks20mapred.reduce.tasks4mapreduce.framework.nameyarnmapreduce.jobhistory.addressMaster:10020mapreduce.jobhistory.webapp.addressMaster:19888这个是mapreduce任务的配置,由于hadoop2.x使用了yarn框架,所以要实现分布式部署,必须在mapreduce.framework.name属性下配置为yarn。
mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数,至于什么是map和reduce,可参考其它资料进行了解。
其它属性为一些进程的端口配置,均配在主机下。
11配置文件7:yarn-site.xml yarn.resourcemanager.addressMaster:8032yarn.resourcemanager.scheduler.address Master:8030 yarn.resourcemanager.webapp.address Master:8088yarn.resourcemanager.resource-tracker.addressMaster:8031yarn.resourcemanager.admin.addressMaster:8033yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandler该文件为yarn框架的配置,主要是一些任务的启动位置12将配置好的hadoop复制到其他节点scp –r ~/hadoop hadoop@Slave1:~/scp –r ~/hadoop hadoop@Slave2:~/END启动验证格式化namenode:./bin/hdfs namenode -format若出现如图所示提示,则格式化成功启动hdfs: ./sbin/start-dfs.sh此时在Master上面运行的进程有:namenode secondarynamenodeSlave1和Slave2上面运行的进程有:datanode启动yarn: ./sbin/start-yarn.sh此时在Master上面运行的进程有:namenode secondarynamenode resourcemanagerSlave1和Slave2上面运行的进程有:datanode nodemanager3检查启动结果查看集群状态:./bin/hdfs dfsadmin –report查看文件块组成: ./bin/hdfsfsck / -files -blocks查看HDFS: http://192.168.101.248:50070(主机IP)查看RM: http:// 192.168.101.248:8088(主机IP)正确情况如图显示
本地文件至hdfs,本机需要安装hadoop吗
有一个误区,就是给一个随机内存很小的手机配上一个超大的存储卡,就以为能装很多软件。
注意:这里指的随机内存,是把储存卡拔掉之后,系统固件所存在的那部分闪存安卓系统在2.0之前一直不能把软件安装到存储卡上,2.0之后,可以安装,但应用依然有很大一部分是留在随机内存中。
如果随机内存被用光~当然就无法安装新程序了。
你所遇到的就是这种情况,你用RE资源管理器查看一下/data/app看看还有多大空间,估计是用光了
hadoop的安装方法有哪几种
hdp hadoop 的安装 部署在什么位置之前有做过这种尝试,为此还看了Ambari的具体实现,对里面的部署过程进行了一些干预,最后是部署成了Apache Hadoop 1.2.1,但就HDFS功能正常,MapReduce是跑不起的,最后结论就是用Ambari的话,还是老老实实地装HDP吧,除非深入了解Ambari,然后改写它,但这样的话,还不如自己开发个自动部署Apache Hadoop的程序来的快些。
linux下怎么知道hadoop安装成功
验证Hadoop是否安装成功主要通过以下两个网址。
http: //localhost:50030(MapReduce的页面)http: //localhost:50070(HDFS的页面)如果都能查看,说明安装成功。
一: 查看HDFS是否正常启动。
在浏览器中输入http: //localhost:50070此页面为Hadoop HDFS管理的界面。
点击Live Nodes 。
上图表示,活动的节点为1个。
(Live Datanodes:1) 至此可以确定HDFS已经正常启动了。
二、查看MapReduce的JobTracker是否正常启动。
在浏览器中输入http: //localhost:50030以上界面为MapReduce的管理界面,此界面表明MapReduce的JobTracker已经正常启动了。
关于将爬虫爬取的数据存入hdfs
硬件故障硬件故障是常态,而不是异常。
整个HDFS系统将由数百或数千个存储着文件数据片断的服务器组成。
实际上它里面有非常巨大的组成部分,每一个组成部分都很可能出现故障,这就意味着HDFS里的总是有一些部件是失效的,因此,故障的检测和自动快速恢复是HDFS一个很核心的设计目标。
数据访问运行在HDFS之上的应用程序必须流式地访问它们的数据集,它不是运行在普通文件系统之上的普通程序。
HDFS被设计成适合批量处理的,而不是用户交互式的。
重点是在数据吞吐量,而不是数据访问的反应时间,POSIX的很多硬性需求对于HDFS应用都是非必须的,去掉POSIX一小部分关键语义可以获得更好的数据吞吐率。
大数据集运行在HDFS之上的程序有很大量的数据集。
典型的HDFS文件大小是GB到TB的级别。
所以,HDFS被调整成支持大文件。
它应该提供很高的聚合数据带宽,一个集群中支持数百个节点,一个集群中还应该支持千万级别的文件。
简单一致性模型大部分的HDFS程序对文件操作需要的是一次写多次读取的操作模式。
一个文件一旦创建、写入、关闭之后就不需要修改了。
这个假定简单化了数据一致的问题,并使高吞吐量的数据访问变得可能。
一个Map-Reduce程序或者网络爬虫程序都可以完美地适合这个模型。
移动计算比移动数据更经济在靠近计算数据所存储的位置来进行计算是最理想的状态,尤其是在数据集特别巨大的时候。
这样消除了网络的拥堵,提高了系统的整体吞吐量。
一个假定就是迁移计算到离数据更近的位置比将数据移动到程序运行更近的位置要更好。
HDFS提供了接口,来让程序将自己移动到离数据存储更近的位置。
异构软硬件平台间的可移植性HDFS被设计成可以简便地实现平台间的迁移,这将推动需要大数据集的应用更广泛地采用HDFS作为平台。
名字节点和数据节点HDFS是一个主从结构,一个HDFS集群是由一个名字节点,它是一个管理文件命名空间和调节客户端访问文件的主服务器,当然还有一些数据节点,通常是一个节点一个机器,它来管理对应节点的存储。
HDFS对外开放文件命名空间并允许用户数据以文件形式存储。
内部机制是将一个文件分割成一个或多个块,这些块被存储在一组数据节点中。
名字节点用来操作文件命名空间的文件或目录操作,如打开,关闭,重命名等等。
它同时确定块与数据节点的映射。
数据节点负责来自文件系统客户的读写请求。
数据节点同时还要执行块的创建,删除,和来自名字节点的块复制指令。
名字节点和数据节点都是运行在普通的机器之上的软件,机器典型的都是GNU/Linux,HDFS是用java编写的,任何支持java的机器都可以运行名字节点或数据节点,利用java语言的超轻便型,很容易将HDFS部署到大范围的机器上。
典型的部署是由一个专门的机器来运行名字节点软件,集群中的其他每台机器运行一个数据节点实例。
体系结构不排斥在一个机器上运行多个数据节点的实例,但是实际的部署不会有这种情况。
集群中只有一个名字节点极大地简单化了系统的体系结构。
名字节点是仲裁者和所有HDFS元数据的仓库,用户的实际数据不经过名字节点。
转载请注明出处51数据库 » hdfs能安装软件吗