02.hadoop集群搭建之免密登录

AI权益加码!Claude Code、Cursor等20+工具免费用! 购周边限时加赠Coding Plan Lite,畅享主流AI工具!学习进阶更高效! 阅读详情

1.配置每个节点的hosts

   vi   /etc/hosts

  192.168.136.16 master1
  192.168.136.17 master2
  192.168.136.18 node1
  192.168.136.19 node2

 

2.每个节点生成公钥私钥

[hadoop@master1 .ssh]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
09:74:dc:02:6d:ff:42:8c:33:3c:08:09:97:2c:c1:26 hadoop@master1
The key's randomart image is:
+--[ RSA 2048]----+
| .o+.oo+..       |
|E +.=. .= .      |
| o . ..+ =       |
|      ..*.+      |
|        S= .     |
|          . .    |
|           .     |
|                 |
|                 |
+-----------------+

[hadoop@master1 .ssh]$ ll
总用量 8
-rw-------. 1 hadoop hadoop 1675 12月 31 15:47 id_rsa
-rw-r--r--. 1 hadoop hadoop  396 12月 31 15:47 id_rsa.pub

3.公钥复制到authorized_keys

[hadoop@master1 ~]$ cp  .ssh/id_rsa.pub   .ssh/authorized_keys
[hadoop@master1 ~]$ ll  .ssh

总用量 12
-rw-r--r--. 1 hadoop hadoop  396 12月 31 15:49 authorized_keys
-rw-------. 1 hadoop hadoop 1675 12月 31 15:47 id_rsa
-rw-r--r--. 1 hadoop hadoop  396 12月 31 15:47 id_rsa.pub

4.将master1节点上的authorized_keys拷贝到master2节点,并将master2节点上的id_rsa.pub追加到authorized_keys

master1节点上执行远程拷贝命令:

[hadoop@master1 .ssh]$ scp authorized_keys  master2:/home/hadoop/.ssh/
The authenticity of host 'master2 (192.168.136.17)' can't be established.
ECDSA key fingerprint is fa:b3:81:b4:5f:e5:ea:f4:d4:ac:ea:96:5d:5e:71:49.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'master2,192.168.136.17' (ECDSA) to the list of known hosts.
hadoop@master2's password: 
authorized_keys  

登录master2节点将公钥追加到authorized_keys文件中

[hadoop@master2 .ssh]$ cat id_rsa.pub  >> authorized_keys 

5.重复第4步,将master2节点上的authorized_keys拷到node1节点上,并将node1节点上的id_rsa.pub追加到authorized_keys

6.重复第4步,再将node1上的authorized_keys拷到node2节点上,并将node2节点上的id_rsa.pub追加到authorized_keys

7.将node4节点上的authorized_keys拷贝到master1、master2、node1上

hadoop@node2 .ssh]$ scp authorized_keys  master1:/home/hadoop/.ssh/
The authenticity of host 'master1 (192.168.136.16)' can't be established.
ECDSA key fingerprint is fa:b3:81:b4:5f:e5:ea:f4:d4:ac:ea:96:5d:5e:71:49.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'master1,192.168.136.16' (ECDSA) to the list of known hosts.
hadoop@master1's password: 
authorized_keys                                                                                                    100% 1580     1.5KB/s   00:00    
[hadoop@node2 .ssh]$ scp authorized_keys  master2:/home/hadoop/.ssh/
The authenticity of host 'master2 (192.168.136.17)' can't be established.
ECDSA key fingerprint is fa:b3:81:b4:5f:e5:ea:f4:d4:ac:ea:96:5d:5e:71:49.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'master2,192.168.136.17' (ECDSA) to the list of known hosts.
hadoop@master2's password: 
authorized_keys                                                                                                    100% 1580     1.5KB/s   00:00    
[hadoop@node2 .ssh]$ scp authorized_keys  node1:/home/hadoop/.ssh/
The authenticity of host 'node1 (192.168.136.18)' can't be established.
ECDSA key fingerprint is fa:b3:81:b4:5f:e5:ea:f4:d4:ac:ea:96:5d:5e:71:49.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'node1,192.168.136.18' (ECDSA) to the list of known hosts.
hadoop@node1's password: 
authorized_keys         

8.验证免密

[hadoop@master1 ~]$ ssh master2
Last login: Tue Dec 31 16:00:39 2019 from master1
[hadoop@master2 ~]$ 

 

 

Hadoop详细集群搭建 Hadoop详细安装 环境:在虚拟机上,或者租一个服务器(用学生证可以认证白嫖喔,阿里云服务器等) 阅读详情

相关推荐

一文快速学会hadoop完全分布式集群搭建,很详细

hadoop的启动模式有三种,一个是本地模式,一个是伪分布式模式,还有一个是集群模式。为了学习hadoop,这里需要搭建一个完全分布式的集群。希望你先把准备工作给看一下,因为我们的配置都是前后一致的。本文因为想让大家学习一下集群分发脚本,所以在模板虚拟机里面少放了很多东西,以后会写一个快速搭建集群的教程。在下一大点,我们用了一个分发脚本。在使用分发脚本传输文件时,必不可少的一项流程是登录到目标机器,也就是要输入密码(可以先试一试第五点的集群分发脚本来体会为什么要设置ssh免密登录),

wish_you_luck的博客 6543

自学大数据第四天~hadoop集群搭建(一)

hadoop采用分布式模式部署和运行时,存储采用分布式文件系统HDFS,此时HDFS名称节点和数据节点位于不同的机器上;数据就可以分布到多个节点,不同的数据节点上的数据计算可以并行执行了,这时候MR才能发挥其本该有的作用;之后登录虚拟机就很容易辨认出当前是处于Master节点上进行操作,不会和Slave节点产生混淆。由于本节点启动时默认没有启动网卡,所以就不关闭了,为了便于区分节点,我们还需要修改各个节点的主机名。其他的节点自己测试一下就可以,这里不再展示。修改之后的具体配置如下。

Gavin 572

Linux中Hadoop 集群搭建

零、下载Hadoop: http://archive.cloudera.com/cdh5/cdh/5/?tdsourcetag=s_pctim_aiomsg 一、集群规划: 搭建hadoop 集群由 3 台服务器组成,分别叫做 master,salve1 和 slave2。其中 master 作为主节点,slave1 和 slave2 作为从节点。 二、网络配置: 1.查看 3 个节点的主机名...

白墨的小白博客 3965

Hadoop完全分布式集群——Hadoop 配置

前面已完成VMware虚拟机安装与配置(参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客),下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作: 1.开启虚拟机,输入命令: [root@slave1 ~]#ip addr [root@slave2 ~]#ip addr 2.修改slave1、slave2虚拟机的IP [root@slave1 ~]#vi /etc/s

weixin_42264536的博客 9056

Starting namenodes on [master] hadoop@master's password:

这是很多人搭建hadoop集群之后,启动  运行hadoop遇到的常见问题,类似的还有: '-z:ssh: Could not resolve hostname '-z: Name or service not known 很多人不知道怎么解决,本人在刚接触hadoop时也遇到这样的问题,查了好些资料都没有解决,后来发现其实是SSH设置文问 题,原因是我们在设置无密码连接时。只设置了mast

dianzishijian的专栏 8520

Hadoop集群搭建(二:集群主机间免密登录配置)

实验目的及要求: 静态网络地址配置; 主机名的配置; 防火墙的配置,使平台相关软件的常用端口能够远程正常访问; 主机地址映射的配置,使所有主机能够通过主机名相互正常访问; 免密码登录的配置,使所有主节点能够免密码登录集群中所有其他节点,多个主节点之间能够相互免密码登录到对方,同事主节点能够免密码登录自身; 实验环境: VMware Workstations 14虚拟机; Linux ...

Eyeshot的博客 2993

hadoop 启动提示输入password的问题

hadoop启动时,如果没有配置ssh免秘钥登录的话,会提示要求输入password:[xxx@*** /home/q/www/hadoop-2.6.4]$ sudo -u tomcat sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 16/12/27 16:41:36

xiongjiezk的专栏 8071

Hadoop2——SSH免密登录功能配置

SSH免密登录功能配置 我有三台虚拟机,其中一台主机,两台克隆机 xxx.xxx.xxx.130 hadoop01 xxx.xxx.xxx.128 hadoop02 xxx.xxx.xxx.129 hadoop03 其中,免密登录需要两两相登录,即三台虚拟机需要设置免密登录6次 hadoop01 免密登录hadooop02 ssh-keygen -t rsa ll -a cd .ssh ll 修改此配置文件(主机名与ip映射) 因为 ssh hadoop02 时提示错误信息,ssh ip则

Wxxx744的博客 740

ubuntu下ceph集群搭建记录

ceph集群搭建

愿我们都能找到自己的路 929

Hadoop完全分布式环境搭建

Hadoop集群配置

fanxin1000的专栏 312

大数据学习准备3——搭建伪分布式hadoop

大数据学习准备3——搭建伪分布式hadoop

2301_78409414的博客 944

十六、配置免密登录(master、slave01、slave02

首先,在 master 节点上创建秘钥然后,将秘钥拷贝到 master、slave01 和 slave02 上,完成免密登录配置。

hemmmm的博客 250

Hadoop分布式集群搭建

http://blog.csdn.net/github_33934628/article/details/73745051 http://blog.csdn.net/henni_719/article/details/77763051 件准备 JDK: jdk1.8.0_131  Hadoophadoop-2.6.5 二、环境说明 使用三台机器做来搭建H

happylzs2008的专栏 323

CentOS7搭建Hadoop集群

10、部署完成可以通过start-all.sh和stop-all.sh控制Hadoop-HA所有节点的启停。-- 配置该user(superUser)允许通过代理访问的主机节点 -->-- 把多个NameNode的地址组装成一个集群mycluster -->-- 配置该user(superUser)允许通过代理用户所属组 -->-- 配置该user(superUser)允许通过代理的用户-->-- 指定hadoop运行时产生文件的存储目录 -->-- 配置HDFS网页登录使用的静态用户为user -->

指针先生 3826

Hadoop分布式集群搭建,以及ssh互通免密登录

23/100保存草稿发布文章 博文管理我的博客退出加粗 斜体 标题 删除线 无序 有序 待办 引用 代码块 BashCC++C#CLikeCSSGoHandlebarsJavaJavaScriptKotlinMarkupObjective-CPerlPHPShellPythonRubySQLSwiftVB.NetYAML图片 视频 表

zp17834994071的博客 3500

搭建hadoop集群

安装好3台linux虚拟机。

ykx0_6的博客 2273

Hadoop集群搭建

Hadoop集群搭建,从下载到安装到配置。

冬♡初的博客 2362

linux搭建hadoop集群

  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据

weixin_52115456的博客 6491

Hadoop集群的安装搭建

上面内容提供了详细的hadoop安装步骤,其中里面有hadoop安装前需要准备的步骤和hadoop安装配置的详细步骤。

lxdhs的博客 3335
上一篇: 000.随笔
下一篇: 01.安全扫描之解决Cookie未设置Secure标识问题
bigdata_li
博客等级 码龄10年 3粉丝 6原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值