最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

在Linux中部署集群(零基础速学!)

互联网 admin 2浏览 0评论

在Linux中部署集群(零基础速学!)

博主上篇的文章讲的是伪分布式部署,那么接下来进行分布时的教学,先从搭建集群开始,为分布式开发环境做准备。

目录

  • 1. 克隆虚拟机
  • 2. 更改系统的mac地址
  • 3. 更改网卡信息
  • 4. 更改主机名
  • 5. 添加别名
  • 6. 关闭防火墙
  • 7. 关闭selinux
  • 8. SCP远程文件拷贝
  • 9. SSH 远程登录
    • 1. 基于密码的登录
    • 2. 无密钥配置(免密登录)
  • 10. 总结


1. 克隆虚拟机

在这里我们直接克隆[Centos版]Hadoop运行环境的具体搭建过程(超详细)
这篇文章中的快照
快照很有必要,如果不知道怎样打快照的同学在虚拟机关机后,右键虚拟机->快照->快照管理器

  • 1. 选择要克隆的快照
  • 2. 选择完整克隆
  • 3. 克隆后

2. 更改系统的mac地址

为什么要改mac地址呢?
因为每个机器的mac地址都是独一无二的,但是克隆的机器会有两个,需要删除掉原有的mac地址

[root@hadoop001 ~]# vim /etc/udev/rules.d/70-persistent-net.rules 


3. 更改网卡信息

[root@hadoop001 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 #  我自己的网卡信息
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="eth0"
IPADDR=192.168.2.112
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2


怎样判断自己修改是否成功:ifconfig

4. 更改主机名

[root@hadoop001 ~]# vim /etc/sysconfig/network

5. 添加别名

[root@hadoop001 ~]# vim /etc/hosts# 下面为博主本人设的别名,别名设置尽量相似,这样后面会很方便
192.168.2.112   hadoop002
192.168.2.113   hadoop003
192.168.2.114   hadoop004

6. 关闭防火墙

内网环境安全性比较高,开启防火墙会影响效率,所以需要关闭防火墙

#  查看防火墙的状态
service iptables status#  启动防火墙的服务
service iptables start#  关闭防火墙服务
service iptables stop#  彻底关闭防火墙
chkconfig iptables off

7. 关闭selinux

[root@hadoop001 桌面]# vim /etc/selinux/config 

  • 下面需要重启,才能使以上的所有修改生效

8. SCP远程文件拷贝

scp(secure copy)安全拷贝
scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)

基本语法:
scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname
命令   递归         要拷贝的文件路径/名称       目的用户@主机:目的路径/名称# 拷贝文件
# 将hadoop101中/etc/profile文件拷贝到hadoop002的/etc/profile上。
[bigdata@hadoop001 ~]$ sudo scp /etc/profile root@hadoop002:/etc/profile# 拷贝文件夹
# 在hadoop101上,将hadoop101中/opt/module目录下的软件拷贝到hadoop002上。
[bigdata@hadoop001 /]$ scp -r /opt/module  root@hadoop002:/opt/module注意:拷贝过来的/opt/module目录,别忘了在hadoop002、hadoop003、hadoop004上修改所有文件的,所有者和所有者组。sudo chown bigdata:bigdata -R /opt/module

9. SSH 远程登录

1. 基于密码的登录

命令含义
ssh ip地址远程登录到指定服务器


首次远程登录会询问yes/on ,以后就不会出现了

2. 无密钥配置(免密登录)

  • 1. ssh-keygen -t rsa+ 三个回车 在hadoop002,hadoop003,hadoop004上面分别执行命令,产生公钥和私钥
  • 2. ssh-copy-id hadoop002将公钥拷贝到hadoop002上面去,以此类推,全部拷贝完毕

配置完成后,就可以免密登录了

注意:
① 第一次拷贝的时候需要输入密码,另外在拷贝除了自身虚拟机公钥的时候,需要在root账号下进行

②想要查看当前虚拟机能够被哪些虚拟机免密登录,可以vim /root/.ssh/authorized_keys

10. 总结

搭建集群的过程很繁琐,并且稍有不慎就不会出错,所以各位小伙伴们需要多多练习,熟能生巧。


各位路过的朋友,如果觉得可以学到些什么的话,点个赞再走吧,欢迎各位路过的大佬评论,指正错误,也欢迎有问题的小伙伴评论留言,私信。每个小伙伴的关注都是本人更新博客的动力!!!

在Linux中部署集群(零基础速学!)

博主上篇的文章讲的是伪分布式部署,那么接下来进行分布时的教学,先从搭建集群开始,为分布式开发环境做准备。

目录

  • 1. 克隆虚拟机
  • 2. 更改系统的mac地址
  • 3. 更改网卡信息
  • 4. 更改主机名
  • 5. 添加别名
  • 6. 关闭防火墙
  • 7. 关闭selinux
  • 8. SCP远程文件拷贝
  • 9. SSH 远程登录
    • 1. 基于密码的登录
    • 2. 无密钥配置(免密登录)
  • 10. 总结


1. 克隆虚拟机

在这里我们直接克隆[Centos版]Hadoop运行环境的具体搭建过程(超详细)
这篇文章中的快照
快照很有必要,如果不知道怎样打快照的同学在虚拟机关机后,右键虚拟机->快照->快照管理器

  • 1. 选择要克隆的快照
  • 2. 选择完整克隆
  • 3. 克隆后

2. 更改系统的mac地址

为什么要改mac地址呢?
因为每个机器的mac地址都是独一无二的,但是克隆的机器会有两个,需要删除掉原有的mac地址

[root@hadoop001 ~]# vim /etc/udev/rules.d/70-persistent-net.rules 


3. 更改网卡信息

[root@hadoop001 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 #  我自己的网卡信息
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="eth0"
IPADDR=192.168.2.112
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2


怎样判断自己修改是否成功:ifconfig

4. 更改主机名

[root@hadoop001 ~]# vim /etc/sysconfig/network

5. 添加别名

[root@hadoop001 ~]# vim /etc/hosts# 下面为博主本人设的别名,别名设置尽量相似,这样后面会很方便
192.168.2.112   hadoop002
192.168.2.113   hadoop003
192.168.2.114   hadoop004

6. 关闭防火墙

内网环境安全性比较高,开启防火墙会影响效率,所以需要关闭防火墙

#  查看防火墙的状态
service iptables status#  启动防火墙的服务
service iptables start#  关闭防火墙服务
service iptables stop#  彻底关闭防火墙
chkconfig iptables off

7. 关闭selinux

[root@hadoop001 桌面]# vim /etc/selinux/config 

  • 下面需要重启,才能使以上的所有修改生效

8. SCP远程文件拷贝

scp(secure copy)安全拷贝
scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)

基本语法:
scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname
命令   递归         要拷贝的文件路径/名称       目的用户@主机:目的路径/名称# 拷贝文件
# 将hadoop101中/etc/profile文件拷贝到hadoop002的/etc/profile上。
[bigdata@hadoop001 ~]$ sudo scp /etc/profile root@hadoop002:/etc/profile# 拷贝文件夹
# 在hadoop101上,将hadoop101中/opt/module目录下的软件拷贝到hadoop002上。
[bigdata@hadoop001 /]$ scp -r /opt/module  root@hadoop002:/opt/module注意:拷贝过来的/opt/module目录,别忘了在hadoop002、hadoop003、hadoop004上修改所有文件的,所有者和所有者组。sudo chown bigdata:bigdata -R /opt/module

9. SSH 远程登录

1. 基于密码的登录

命令含义
ssh ip地址远程登录到指定服务器


首次远程登录会询问yes/on ,以后就不会出现了

2. 无密钥配置(免密登录)

  • 1. ssh-keygen -t rsa+ 三个回车 在hadoop002,hadoop003,hadoop004上面分别执行命令,产生公钥和私钥
  • 2. ssh-copy-id hadoop002将公钥拷贝到hadoop002上面去,以此类推,全部拷贝完毕

配置完成后,就可以免密登录了

注意:
① 第一次拷贝的时候需要输入密码,另外在拷贝除了自身虚拟机公钥的时候,需要在root账号下进行

②想要查看当前虚拟机能够被哪些虚拟机免密登录,可以vim /root/.ssh/authorized_keys

10. 总结

搭建集群的过程很繁琐,并且稍有不慎就不会出错,所以各位小伙伴们需要多多练习,熟能生巧。


各位路过的朋友,如果觉得可以学到些什么的话,点个赞再走吧,欢迎各位路过的大佬评论,指正错误,也欢迎有问题的小伙伴评论留言,私信。每个小伙伴的关注都是本人更新博客的动力!!!

发布评论

评论列表 (0)

  1. 暂无评论