今天总结一下hadoop的分布式部署安装,由于寡人资源实在是有限,在学习的时候,是在一台机器上模拟多台服务器进行部署的,后面我们在写集群。
原创文章,转载请注明出处:http://blog.csdn.net/jessonlv/article/details/18270041
1、安装前的准备
在安装软件之前,我们的linux系统具体要进行一下操作,不然,hadoop安装不成功!
1、关闭防火墙,
RedHat 内置一个文本行的管理工具,可以管理防火墙、ip 地址、各类服务等信息的设置。使用setup 命令调出该工具。很简单,我就不赘述了。。
2、修改IP地址
将虚拟机的ip地址和宿主机的ip地址设置在一个网段,互相ping通。命令也很简单,不赘述。
3、修改hostname为hadoop
命令“hostname 新主机名”,意味着修改主机名,但只对本次会话有效,重启机器后失效。我们要想永久改主机名,需要修改配置文:/etc/sysconfig/network我们这里将主机名改为:hadoop
4、设置ssh自动登录。
设置ssh自动登录。
如果我们需要远程管理其他机器的话,一般使用远程桌面或者telnet。linxu 服务器几乎都是命令行,所以只能使用telnet 了。telnet 的缺点是通信不加密,非常不安全,只适合于
内网访问。为解决这个问题,推出了加密的通信协议,即SSH。SSH 的全称是Secure Shell,使用非对称加密方式,传输内容使用rsa 或者dsa 加密,可以有效避免网络。
hadoop 的进程之间通信使用ssh 方式,需要每次都要输入密码。为了实现自动化操作,我们下面配置SSH 的免密码登录方式.
首先到用户主目录下:
在“ls -a”命令显示的文件中,最后一列中间一项是“.ssh”,该文件夹是存放密钥的。注意该文件夹是以“.”开头的,是隐藏文件。待会我们生成的密钥都会放到这个文件夹中。
现在执行命令,生成密钥
解释一下:
命令“ssh-keygen -t rsa”表示使用rsa 加密方式生成密钥, 回车后,会提示三次输入信息,我们直接回车即可。
然后进入密钥文件夹,执行命令,
其中,命令“cp id_rsa.pub authorized_keys”用于生成授权文件。至此,配置部分完成了。这里为什么要使用ssh 登录本机哪?因为hadoop 在本机部署时,需要使用ssh 访问。
注意:文件夹“.ssh”中的三个文件的权限,是有要求的,“自己之外的任何人对每个文件都没有写权限”。另外,“.ssh”文件夹是700 权限。如果权限有问题,会造成SSH 访问
失败。
现在开始验证SSH 无密码登录
执行“ssh localhost”意味着使用“ssh”通信协议访问主机“localhost”,第一次执行时需要确认;第二次不再确认了。这就是无密码登录。当登录到对方机器后,退出使用命令
“exit”。这两次操作时,注意观察主机名变化。读者可以执行命令“ssh book0”,验证dns对book0 解析是否正确。
注意:使用命令ssh 时,一定要观察主机名的变化。很多同学在操作ssh 时,由于大量的使用ssh 登录退出,忘记自己目前在哪台机器了,执行了大量错误的操作。
另外,如果多次执行ssh,每次都要输入确认信息的话,说明配置失败了。可以删除文件夹“.ssh”,重新配置。也可以重启虚拟机再配置。只要严格按照上面的步骤操作,保证
能够成功的。
如果还搞不定,给你个绝招” 删除/etc/udev/rules.d/70-persistent-net.rules 文件,重启
系统”。
配置出错,可以查看/var/log/secure 日志文件,找原因。
以上四项完成以后下面我安装jdk和hadoop
2、安装jdk和hadoop
(1)jdk-6u24-linux-xxx.bin
(2)hadoop-1.1.2.tar.gz
将这个两个文件放在/usr/local 下,分别解压,并将解压后的文件分别命名为: hadoop 和 jdk
1、首先配置jdk
我们知道,jdk的配置在/etc/profile里。hadoop的配置道理和jdk是一样的,看图中红线圈中的部分。
当然,编辑完配置文件后,还要执行
source /etc/profile
验证执行 java -version 等命令。
3、修改hadoop的四个配置文件
这四个配置文件分别为:
1、hadoop-env.sh
用vi编辑器打开,将下面的配置复制进去就行了:
export JAVA_HOME=/usr/local/jdk/
注意你的路径。
2、core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
我在上面加了描述,只要和你的主机名相对应就行,这里我的主机名字数hadoop
3、hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
这个不需要改,直接复制上去就行。
4、mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
这个还是需要修改你的主机名,端口号不用改。
至此,四个文件都修改完毕,大功将要告成,哈哈。
4、格式化hadoop的namenode
hadoop namenode -format
如果出现上面的日志信息,那说明咱们的hadoop安装已经大功告成了。下面,我们看看劳动成果。
5、启动hadoop
启动命令:
./start-all.sh
在local/hadoop/bin 目录下。
然后用jps命令查看下都启动了什么进程,我们发现hadoop的运行,一下子蹦出了五个进程,看名思意。
6、验证hadoop
启动成功后,我们在浏览器下验证:
另外一个端口号再来一张:
至此,我们的安装就全部完成了,后面我会总结下集群的安装、设置。
分享到:
相关推荐
Hadoop安装教程_单机_伪分布式配置
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程:全球最详细(不放过任何一个细节)的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
linux:centos6.5 hadoop版本:2.6.0 集群方式:伪分布式 已经通过 内容比较详尽
hadoop的独立模式、伪分布模式、完全分布式、HA配置文件
分布式存储系统hadoop:hbase安装经验,非常不错的hadoop之hbase,入门环境搭建。
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
hadoop3台机器集群的详细安装部署过程
hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建
Hadoop单节点伪分布式搭建中文版 个人翻译的Hadoop搭建文档,这里只是翻译了伪分布式搭建。 如果是测试、学习hadoop,伪分布式足够了。
hadoop伪分布式安装!
Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是...
安装软件: 系统:Linux 2.6.32-358.el6.x86_64 JDK:jdk-7u7-linux-i586.tar.gz Hadoop版本:hadoop-0.20.2-cdh3u4.tar.gz 硬件环境: 三台主机:分别为 gdy192 192.168.61.192 gdy194 192.168.61.194 gdy195...
hadoop cdh版本伪分布式集群搭建详细图文教程
虚拟机Ubuntu下hadoop2.6.0的安装与配置 (单机模式,伪分布式,完全分布式)非常详细的安装配置指南
基于Hadoop云计算平台的分布式转码方案.pdf
haodop超详细安装教程:包含jdk配置,ssh免密登录以及单机版hadoop安装配置、伪分布式hadoop安装及配置,以及分布式集群安装配置。
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...