hadoop wordcount 调试

关注

原创最新推荐文章于 2026-03-23 00:56:57 发布 1k 阅读 AI 写同款· GEO 优化 ›

IDEA(2019.3)远程调试HADOOP(2.7.1)配置过程：WordCount实例目的：在Idea上直接调试虚拟机中的HDFS，执行MapReduce，不需要将jar包上传到hadoop目录下再运行配置环境：虚拟机 hadoop 2.7.1 本地 hadoop 2.7.1 IDEA 版本 2019.3.3 Maven 3.6.3 1. 修改虚拟机hadoop的etc/hadoop/core-site.xml 需要修改为hdfs://IP地址：9000 (主机名也可以，如果使用IP地址建议将IP地址设置为静态IP) 2. 使用xftp 等工具将HADOOP etc/hadoop目录下阅读详情

第一次安装hadoop，跑wordcount，遇到不少问题，在这里总结一下我遇到的怪异问题和我的解决方法。

第一。hadoop命令不能使用

      要使用hadoop命令，得在/etc/profile 里面添加 HADOOP_HOME. 个人怀疑在conf/hadoop-env.sh里面配置直也可以，但是没有试验，以后再验证。

      export HADOOP_HOME_WARN_SUPPRESS=1
      #export HADOOP_ROOT_LOGGER=DEBUG,console
      export HADOOP_HOME=/usr/hadoop/hadoop-1.2.1
      export HADOOP_CONF_DIR=/usr/hadoop/hadoop-1.2.1/conf

      接着把$HADOOP_HOME添加到PATH里面

      export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

     其中：      export HADOOP_ROOT_LOGGER=DEBUG,console的作用是在运行hadoop时候显示调试信息，可以很清楚的看到java报错信息，有利于定位错误。
      export HADOOP_HOME_WARN_SUPPRESS=1   如果执行hadoop命令提示hadoop_home已经被弃用，加上这个就可以解决了。
        
第二。namenode启动不了。
      执行wordcount时java报错连不上9000端口，用netstat -na|grep 9000 ,发现端口没开。再用jps才发现namenode没启动。检查发现是/etc/hosts 里面的主机名和ip映射没改（由于没有设固定IP，所以有时候重启ip会变）  关于设固定ip问题解决方案，参考http://blog.csdn.net/lfasc/article/details/10431639#comments
第三。提示没有hdfs 文件权限。
     先用hadoop  fs -chmod 777 /usr/hadoop ，发现没有解决，后在网上搜索得知，可以在/conf/hdfs-site.xml 里面添加一个节点来限制hadoop hdfs的权限检查。
      添加节点如下：<property>
                  <name>dfs.permissions</name>
                  <value>false</value>
                  </property>
          这种方式虽然可行，但是不推荐使用。 
第四。关于安全模式问题
      处于安全模式时是没法对HDFS操作的，自然wordcount是没法完成的。
      可以用命令强制退出安全模式：hadoop dfsadmin -safemode leave
      也可以修改配置文件：dfs.safemode.threshold.pct ,将这个值设的小一点就可以了，缺省值是0.999。   hadoop启动时会检查datanode为文件，如果丢失的block达到一定的比例，就一直除以安全模式，即只读状态。缺省值0.999，即datanode上报的元数据达到了元数据记录的block个数的0.999倍才可以离开安全模式。