最近在学习hadoop,遇到了一些常见的问题,现在来总结一下,和大家分享,以后会持续更新遇见的其他问题。当使用hadoop 发现有问题时,首先使用jps 命令查看启动的节点是否正确,然后再去查看日志文件。
原创文章,转载请注明出处:http://blog.csdn.net/jessonlv/article/details/18221299
通常情况下,我们会遇见一下几种错误:
1、设置主机名错误
看日志,会发现下面的错误:
ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.net.UnknownHostException:
Invalid hostname for server: master
这是由于主机名设置错误造成的,请检查配置文件中关于主机名的设置,是否正确。
首先使用hostname 命令查看主机名是否正确;
然后使用more /etc/sysconfig/network 命令查看主机名是否记录在文件中;
最后使用more /etc/hosts 命令查看ip 与主机名的映射是否设置。
2、ip 设置错误
看日志,发现下面的错误
ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.net.BindException: Problem
binding to book0/192.168.1.100:9000 : Cannot assign requested address
这是由于ip 地址设置错误引起的,请检查主机的ip 设置与配置文件的ip 设置是否一致。
使用more /etc/hosts 命令查看ip 与主机名的映射是否设置。
3、hostname 不能带有下划线,不能数字开头
hostname 含有下划线,也会造成启动失败。
启动完成后,一定使用jps 命令查看5 个节点是否全部成功启动。如果哪个节点没有启
动,请查看对应的log 日志。日志的默认目录是$HADOOP_HOME/logs。
以下是我的日志截图:
文件命名是有规律的,“hadoop-[当前用户名]-[节点名称]-[主机名].log”我们只查看log结尾的文件。如果是namenode 节点没有启动,查看hadoop-root-namenode-book0.log 文件。
4、多次执行hadoop 格式化
现象:在Hadoop-root-datanode-master.log 中有如下错误:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException:
Incompatible namespaceIDs in
原因: 每次namenode format 会重新创建一个namenodeId,而dfs.data.dir 参数配置的目录中包含的是上次format 创建的id,和dfs.name.dir 参数配置的目录中的id 不一致。
namenode format 清空了namenode 下的数据,但是没有清空datanode 下的数据,导致启动时失败,所要做的就是每次fotmat 前,清空dfs.data.dir 参数配置的目录。重新格式化hdfs的命令。
5、防火墙没有关闭
从本地往hdfs 文件系统上传文件,出现如下错误:
这个问题最有可能就是防火墙没有关闭,导致节点DataNode 与节点NameNode 通信失败。可以使用service iptables status 命令关闭防火墙。这样关闭后,重启操作系统时,防火墙有可能重启,可以关闭自动重启功能。使用chkconfig iptables off 关闭。
6、安全模式导致的错误
错误提示如下:
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in
safe mode
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode 上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。如果着急的话,可以执行hadoop dfsadmin –safemode leave 命令关闭安全模式。
总结:以上是几天学习hadoop的时候,遇到的几个问题,后面的学习过程中肯定会遇见各种各样的问题,我会一一记下来,并找出解决方法,持续更新这篇文章。
另外,我会将学习过程和做的笔记和大家分享。
最后,最近发现很多论坛扒了我的文章,让我很是苦恼,不知道广大同学有什么解决方法,帮忙支支招,谢谢大家啦~
2014/1/14更新:
今天在配置hadoop的配置文件的时候,犯了一个小小的疏忽,请看下面:
我在配置hadoop-env.sh 的时候,
这个文件的第九行的内容原来是:
#export JAVA_HOME=/usr/lib/jdk-1.6.0/
我们需要将此改为我们自己的jdk目录,我们的目录是/use/local/jdk
我在修改的时候,只把前面的#号去掉后,只把jdk-1.6.0这个名称改了,没有把lib改为local,在启动hadoop的时候造成如下错误:
找不到jdk,呵呵,实在不该粗心大意,记录下来,长个记性!!!!
分享到:
相关推荐
hadoop权威指南代码 (Hadoop: The Definitive Guide code) http://www.hadoopbook.com
Hadoop: The Definitive Guide is a comprehensive resource for using Hadoop to build reliable, scalable, distributed systems. Programmers will find details for analyzing large datasets with Hadoop, and...
"Data Analytics with Hadoop: An Introduction for Data Scientists" ISBN: 1491913703 | 2016 | PDF | 288 pages | 7 MB Ready to use statistical and machine-learning techniques across large data sets? ...
资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...
[Hadoop权威指南(第2版)].(Hadoop:The.Definitive.Guide).Tom.White.文字版.pdf
Hadoop: The Definitive Guide, 4th Edition Get ready to unlock the power of your data. With the fourth edition of this comprehensive guide, you’ll learn how to build and maintain reliable, scalable,...
实战Hadoop:开启通向云计算的捷径
Hadoop的权威指南 Hadoop: The Definitive Guide 。里面有两个pdf的压缩包,中英两版本都有,欢迎查阅
书名:Hadoop The Definitive Guide 语言:英文 The rest of this book is organized as follows. Chapter 2 provides an introduction to MapReduce. Chapter 3 looks at Hadoop filesystems, and in particular ...
实战Hadoop:开启通向云计算的捷径(刘鹏) 高清完整中文版PDF下载
计算Hadoop:快速部署Hadoop集群 详细的Hadoop集群部署文档,对您绝对有用~
hadoop2.7汇总:新增功能最新编译64位安装、源码包、API、eclipse插件下载
分布式存储系统hadoop:hbase安装经验,非常不错的hadoop之hbase,入门环境搭建。
Maven坐标:org.apache.hadoop:hadoop-mapreduce-client-common:2.6.5; 标签:apache、mapreduce、common、client、hadoop、jar包、java、API文档、中英对照版; 使用方法:解压翻译后的API文档,用浏览器打开...
Hadoop使用常见问题以及解决方法,简单实用
hadoop权威指南 中文版 英文版Hadoop: The Definitive Guide 带书签,无密码---抵制无良赚钱的
SQL-on-Hadoop的一篇综述文章
实战Hadoop:开启通向云计算的捷径(刘鹏)PDF电子书,已添加目录。
全书共14章,3个附录,涉及的主题包括:Haddoop简介:MapReduce简介:Hadoop分布式文件系统;Hadoop的I/O、MapReduce应用程序开发;MapReduce的工作机制:MapReduce的类型和格式;MapReduce的特性:如何安装Hadoop...
英文版,不过英文比较简单,有插画,内容不是很多,适合入门了解一下,或者只是想了解一下。书的网站http://www.hadoopilluminated.com/