近段时间,对HBase 的Master节点相关的代码进行了学习,感觉它的设计思路是尽量把master节点做成一个很轻的管理节点。这里很轻的意思就是只做自己该做的一些事,很多不该做的事情都移出去,移给zookeeper,移给regionserver,让自己变得简单。
1. HMaster接口
HMaster类继承了四个接口, HMasterInterface, HMasterRegionInterface, MasterServices, Server。
1.1 HMasterInterface
主要包含了创建表的DDL方法:如createTable, deleteTable, alterTable指令(modifyTable, getAlterStatus, enableTable等),把一个region指派(assign)到某个节点上去。
1.2 HMasterRegionInterface
主要是与regionserver通信的接口,例如:1.regionserver向master注册,初始化起动信息;2. regionserver向master汇报状态,说明它是online状态。
1.3 MasterServices
通过它,master向外部程序开放一些内部的管理对象,提供更加广泛的服务接口,它主要是master内部调用。例如:AssignmentManager对象,MasterFileSystem对象,ServerManager对象等。
2. Assign机制
hbase提供了assign的shell命令。在进行assign分配操作时,主要有以下几个步骤:
- 首先要对这个region进行offline操作(包括在master内部RegionState和zookeeper里面)。
- 成功做完上述操作后,就会随机找一个节点生成一个regionPlan,如果该region已经存在一个regionPlan,你可以覆盖它,也可以继续采用之前那个regionPlan。
- 得到这个regionPlan后,master就通知的regionserver节点,叫它去打开这个region。
- regionserver把该region打开成功后,master就会把这个region上线,同时把该region从zookeeper里面的/hbase/unassigned去除掉。
3. move机制
hbase提供了assign的shell命令。在进行move操作时 ,主要有以下几个步骤:
- 构造一个regionPlan
- assignmentManager做unassigned下线操作,它包括: 在/hbase/unassigned生成一个标为close状态的region节点;通知regionserver关闭该region;
- assignmentManager里面的handleRegion发现该region下线后,就进行重新分配工作;
4. split机制
续...
相关推荐
一款强大的HBase表管理系统,目前系统集成的功能有,命名空间管理,表管理,列簇管理,标签机制,快照管理,以及一些常见的统计指标展示等,另外,系统还内置了HBaseSQL的功能,欢迎大家下载。 一款强大的HBase表...
hbase学习-脑图总结,涵盖了大部分基础知识点,下个脑图查看器即可,方便大家学习
HBaseManager,是一款强大的HBase表管理系统,目前系统集成的功能有,命名空间管理,表管理,列簇管理,标签机制,快照管理,以及一些常见的统计指标展示等,另外,系统还内置了HBaseSQL的功能
Hadoop+Hbase搭建云存储总结
Hbase 性能 优化,Hbase 数据查询 插入参考
大数据 Hbase的学习个人总结文档,主要讲述了,Hbase的基础知识
由于网上下的不支持最新的hadoop,hbase 版本自己稍微修改了下,支持最新版本HBase的图形化管理工具,目前修改改为hadoop-2.7.1版本,hbase-1.1.2版本,依赖可以自己切换,源代码已经包括再里边了,如想修改直接修改...
《HBase管理指南》通过详尽的操作步骤以及贴近实际使用的案例说明,帮助读者轻松掌握管理HBase所需的各项技能。《HBase管理指南》是一部实用性很强的操作指南,主要介绍如何建立一个完全分布式的HBase集群并将数据...
NULL 博文链接:https://57832638.iteye.com/blog/1978504
可以通过GUI管理Hbase数据库,支持多种过滤器查询。
Hbase学习总结.rar
HBase性能优化方法总结.doc
hbase 文档,自己总结的,方便初学者快速上手!
资源回答:Rowkey设计时需要遵循三大原则?你们在使用hbase在使用遇到的问题?Hbase优化,你们是怎么做的?Hbase热点(数据倾斜)问题你们是怎么处理的?属于高频面试题
超全的HBase知识体系总结
hbase安装lzo压缩包的编译文件master
掌握Hbase shell操作。 1.2实验要求: 用Hbase shell操作创建一个student表,其结构如下表所示 Row Key address score province city street Java Hadoop Math zhangsan guangdong guangzhou yinglonglu 85 80 90 ...
hbase和hive常用命令总结
分数不让我设定(最好是0)包含原理概念、架构、单机安装、分布式安装,HBase的优化及Phoenixd的一点拓展知识,二叉树,B树等等。。