Hadoop学习笔记(3)

下面是关于Hadoop的安装实践:

Hadoop是Apache基金会所开发的架构,这里我们要用Linux系统来完成实验,多数用的是CentOS,我们也可以直接用Ubuntu。

在开始Hadoop安装之前需要先设置下SSH免密登陆,因为在Hadoop集群中可能有几十台甚至上千台机器,而每次启动Hadoop都需要输入密码才能登陆到每台机器的DataNode上,为了避免这些繁琐的操作,一般都会设置SSH免密登陆。

对Linux系统不够熟悉,才发现一些一些基础的命令还是很必要的,可以节省很多查询时间,下面就是免密设置的过程。

主节点,安装SSH后在用户目录下输入: ssh –keygen –t rsa –P “”

三次提示回车后会发现在用户目录下打开.ssh文件夹(密钥存放的地方),会发现有一下这些文件:

  1. Authorized­­­­­_keys:存放远程免密登陆的公钥,主要通过这个文件记录多台机器的公钥;
  2. Id_rsa:生成的私钥文件;
  3. pub:生成的公钥文件;
  4. Know_hosts:已知的主机公钥。

 

然后,继续执行命令:cat id_rsa.pub >> authorize.keys (将生成的公钥id_rsa.pub内容追加到authorized.keys中)

 

从节点,以同样的方式生成密钥(执行命令:ssh –keygen –t rsa –P “”),然后将生成的公钥id_rsa.pub追加到authorized.keys中;之后,再将公钥id_rsa.pub传给主节点(执行命令: scp id_rsa.pub mnode:/root/.ssh/id_rsa.pub.dnode    **这里mnode是主节点,dnode是从节点,名字可自取) 。

 

回到主节点,将从节点得到的文件内容追加到authorized.keys中(执行命令: cat id_rsa.pub.dnode >> authorize.keys),然后将包含主从节点密钥的到authorized.keys复制到从节点(执行命令: scp authorized.keys dnode:/root/.ssh/)。

 

最后验证一下免密登陆是否成功:

  1. 执行命令:ssh localhost
  2. 根据提示输入“yes”
  3. 退出(exit)
  4. 再执行:ssh localhost
  5. 登陆成功即配置完成

Leave a Reply