最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

第1关:伪分布式环境搭建

IT圈 admin 3浏览 0评论

第1关:伪分布式环境搭建

实验环境:

hadoop2.7; JDK8; HBase2.1.1; hadoop已安装; JDK已安装,环境变量已配置; HBase压缩包已下载,存放在/opt目录下。

在搭建环境之前我们首先来了解一下HBase分布式环境的整体架构:

我们来简单认识一下与HBase的相关组件:

Zookeeper

Zookeeper能为HBase提供协同服务,是HBase的一个重要组件,Zookeeper能实时的监控HBase的健康状态,并作出相应处理。

HMaster:

HMasterHBase的主服务,他负责监控集群中所有的HRegionServer,并对表和Region进行管理操作,比如创建表,修改表,移除表等等。

HRegion:

HRegion是对表进行划分的基本单元,一个表在刚刚创建时只有一个Region,但是随着记录的增加,表会变得越来越大,HRegionServer会实时跟踪Region的大小,当Region增大到某个值时,就会进行切割(split)操作,由一个Region切分成两个Region

HRegionServer:

HRegionServerRegionServer的实例,它负责服务和管理多个HRegion 实例,并直接响应用户的读写请求。

总的来说,要部署一个分布式的HBase数据库,需要各个组件的协作,HBase通过Zookeeper进行分布式应用管理,Zookeeper相当于管理员,HBase将数据存储在HDFS(分布式文件系统)中,通过HDFS存储数据,所以我们搭建分布式的HBase数据库的整体思路也在这里,即将各个服务进行整合。

接下来,我们就一起来搭建一个伪分布式的HBase。

配置与启动伪分布式HBase

如果你已经完成了单节点HBase的安装,那伪分布式的配置对你来说应该很简单了,只需要修改hbase-site.xml文件即可:

cd /app/hbase-2.1.1/confvim /app/hbase-2.1.1/conf/hbase-site.xml

在这里主要有两项配置:

1.开启HBase的分布式运行模式,配置hbase.cluster.distributedtrue代表开启HBase的分布式运行模式:

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

2.是设置HBase的数据文件存储位置为HDFS/hbase目录,要注意的是在这里我们不需要在HDFS中手动创建hbase目录,因为HBase会帮我们自动创建。

<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>

修改之后hbase-site.xml<configuration>代码:

<configuration>
<configuration><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.rootdir</name><value>file:///root/data/hbase/data</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/root/data/hbase/zookeeper</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>true</value></property><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property>
</configuration>
</configuration>

标红部分为我们需要注意的配置。我们在设置单节点的时候将hbase.unsafe.stream.capability.enforce属性值设置为了false,在这里我们需要注意设置它的值为true,或者干脆删除这个属性也是可以的。

配置完成之后,我们需要先启动Hadoop,然后启动HBase,最后输入jps查看启动的进程:

start-dfs.sh
start-hbase.sh

如果出现HMasterHRegionServer以及HQuorumPeer三个服务则代表伪分布式环境已经搭建成功了。

在HDFS中验证

接下来我们进一步验证:在HDFS中检查HBase文件。

如果一切正常,HBase会在HDFS中自动建立自己的文件,在上述配置文件中,设置的文件位置为/hbase,我们输入hadoop fs -ls /hbase即可查看,如下图所示,分布式文件系统(HDFS)中hbase文件夹已经创建了:

编程要求

好了,到你啦,你需要先按照上次实训——HBase单节点安装的方式将HBase安装在/app目录下,然后根据本关知识配置好伪分布式的HBase,最后点击测评即可通关

第1关:伪分布式环境搭建

实验环境:

hadoop2.7; JDK8; HBase2.1.1; hadoop已安装; JDK已安装,环境变量已配置; HBase压缩包已下载,存放在/opt目录下。

在搭建环境之前我们首先来了解一下HBase分布式环境的整体架构:

我们来简单认识一下与HBase的相关组件:

Zookeeper

Zookeeper能为HBase提供协同服务,是HBase的一个重要组件,Zookeeper能实时的监控HBase的健康状态,并作出相应处理。

HMaster:

HMasterHBase的主服务,他负责监控集群中所有的HRegionServer,并对表和Region进行管理操作,比如创建表,修改表,移除表等等。

HRegion:

HRegion是对表进行划分的基本单元,一个表在刚刚创建时只有一个Region,但是随着记录的增加,表会变得越来越大,HRegionServer会实时跟踪Region的大小,当Region增大到某个值时,就会进行切割(split)操作,由一个Region切分成两个Region

HRegionServer:

HRegionServerRegionServer的实例,它负责服务和管理多个HRegion 实例,并直接响应用户的读写请求。

总的来说,要部署一个分布式的HBase数据库,需要各个组件的协作,HBase通过Zookeeper进行分布式应用管理,Zookeeper相当于管理员,HBase将数据存储在HDFS(分布式文件系统)中,通过HDFS存储数据,所以我们搭建分布式的HBase数据库的整体思路也在这里,即将各个服务进行整合。

接下来,我们就一起来搭建一个伪分布式的HBase。

配置与启动伪分布式HBase

如果你已经完成了单节点HBase的安装,那伪分布式的配置对你来说应该很简单了,只需要修改hbase-site.xml文件即可:

cd /app/hbase-2.1.1/confvim /app/hbase-2.1.1/conf/hbase-site.xml

在这里主要有两项配置:

1.开启HBase的分布式运行模式,配置hbase.cluster.distributedtrue代表开启HBase的分布式运行模式:

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

2.是设置HBase的数据文件存储位置为HDFS/hbase目录,要注意的是在这里我们不需要在HDFS中手动创建hbase目录,因为HBase会帮我们自动创建。

<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>

修改之后hbase-site.xml<configuration>代码:

<configuration>
<configuration><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.rootdir</name><value>file:///root/data/hbase/data</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/root/data/hbase/zookeeper</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>true</value></property><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property>
</configuration>
</configuration>

标红部分为我们需要注意的配置。我们在设置单节点的时候将hbase.unsafe.stream.capability.enforce属性值设置为了false,在这里我们需要注意设置它的值为true,或者干脆删除这个属性也是可以的。

配置完成之后,我们需要先启动Hadoop,然后启动HBase,最后输入jps查看启动的进程:

start-dfs.sh
start-hbase.sh

如果出现HMasterHRegionServer以及HQuorumPeer三个服务则代表伪分布式环境已经搭建成功了。

在HDFS中验证

接下来我们进一步验证:在HDFS中检查HBase文件。

如果一切正常,HBase会在HDFS中自动建立自己的文件,在上述配置文件中,设置的文件位置为/hbase,我们输入hadoop fs -ls /hbase即可查看,如下图所示,分布式文件系统(HDFS)中hbase文件夹已经创建了:

编程要求

好了,到你啦,你需要先按照上次实训——HBase单节点安装的方式将HBase安装在/app目录下,然后根据本关知识配置好伪分布式的HBase,最后点击测评即可通关

与本文相关的文章

发布评论

评论列表 (0)

  1. 暂无评论