hadoop hdfs eclipse 的一些配置

merry163

墨衍会员 · AI 创作全网分发码龄15年

关注

转载最新推荐文章于 2025-07-23 13:17:36 发布 1k 阅读 AI 写同款· GEO 优化 ›

AI权益加码！Claude Code、Cursor等20+工具免费用！购周边限时加赠Coding Plan Lite，畅享主流AI工具！学习进阶更高效！阅读详情

eclipse 向hdfs 上传文件为空怎么解决？

发表于 2013-11-23 12:53 | 只看该作者 | 只看大图回帖奖励

本帖最后由 panda 于 2013-11-24 13:23 编辑

问题描述：
重新配置eclipse的mapredece运行环境.上传Test_1文件，
Apr 23 11:49:54 hostapd: wlan0: STA 14:7d:c5:9e:fb:84
Apr 23 11:49:52 hostapd: wlan0: STA 74:e5:0b:04:28:f2
Apr 23 11:49:50 hostapd: wlan0: STA cc:af:78:cc:d5:5d
Apr 23 11:49:44 hostapd: wlan0: STA cc:af:78:cc:d5:5d
Apr 23 11:49:43 hostapd: wlan0: STA 74:e5:0b:04:28:f2
Apr 23 11:49:42 hostapd: wlan0: STA 14:7d:c5:9e:fb:84
如图：

解决步骤：
1.查看hdfs-site.xml,已经设置hdfs的访问控制设为false.

2.查看hdfs的文件目录权限：

已执行：
bin/hadoop fs -chmod 777

3.修改windows本地帐户

4.检查hdfs能否本地上传
bin/hadoop fs -put Test_1 /home/hadoop/in

可以上传

5.检查eclipse的配置端口：

和core-site.xml的一致：

做完以上5个步骤，问题依然没有解决。发现不同的方式上传的文件属性不同

不知道是什么原因？

6.检查防火墙和selinux是否禁用
在root权限下：
关闭防火墙：
/sbin/service iptables stop
禁用selinux
编辑 "/etc/selinux/config"文件，设置"SELINUX=disabled"
重启 reboot

7.重启后，重启hadoop将Test_1文件上传到hdfs中在本地可以看到文件内容

但是在eclipse查看的时候报错：

网上查询的结果多是：节点断了，没连接上，但是我再datanode也可以查看Test_1文件，不知道怎么解决！

我猜是可能网络问题，不过太牵强了，我eclipse连接的hadoop的是在互联网上面的机器。
各位同学，该怎么解决？

问题解决：
在运行Test_1的时候发现报错：

eclipse所在的机器 hadoop client和hadoop 不是在一个网段内，不能直接连接到datanode上面。这也是为什么我的另外一个搭载在一个局域网的hadoop client 可以访问网内的hadoop集群的原因。

我再本机上用VMware虚拟了2台服务器，重新搭建hadoop集群，问题就解决了。

总结：hadoop client 需要在hadoop集群在同一个网段内才能调试MapReduce程序。

收录于