hbase提供了写的操作，通常，我们可以采用HBase的Shell 客户端或者Java API进行操作。
如果数据量大的话，这两种操作是很费时的。其实如果了解了HBase的数据底层存储的细节的话，HBase的数据存储格式是HFile定义的格式。
批量导入HBase主要分两步：
- 通过mapreduce在输出目录OutputDir下生成一系列按Store存储结构一样的，存储HFile文件
- 通过LoadIncrementalHFiles.doBulkLoad把OutputDir里面的数据导入HBase表中
优点
- HBase提供了一种直接写hfile文件的类，同时通过类似传统数据库的load把这些文件写进去，不再需要通过客户端或Java API一条一条插进去，
- 这些接口简单方便，快捷灵活；
- 应用不需要一直去连HBase集群进行RPC multi写，提高mapreduce效率；
- HBase集群也相应减少不必要的连接，可以让它去多干些其它的事，效率更加高效，降低HBase集群因为大量并发写而产生不必要的风险。
1. 从HDFS批量导入
在MapReduce里面就把想要的输出成HFileOutputFormat格式的文件，然后通过LoadIncrementalHFiles.doBulkLoad方式就可以load进去即可。例子如下：
Configuration conf = getConf();
conf.set("hbase.table.name", args[2]);
// Load hbase-site.xml
HBaseConfiguration.addHbaseResources(conf);
Job job = new Job(conf, "HBase Bulk Import Example");
job.setJarByClass(Mapper2.class);
job.setMapperClass(Mapper2.class);
job.setMapOutputKeyClass(ImmutableBytesWritable.class);
job.setMapOutputValueClass(KeyValue.class);
job.setInputFormatClass(TextInputFormat.class);
// Auto configure partitioner and reducer
HTable hTable = new HTable(conf, args[2]);
HFileOutputFormat.configureIncrementalLoad(job, hTable);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.waitForCompletion(true);
// Load generated HFiles into table
LoadIncrementalHFiles loader = new LoadIncrementalHFiles(conf);
loader.doBulkLoad(new Path(args[1]), hTable);
2. 从MySQL批量导入
这个星期把一些MySQL表导到线上HBase表。这个MySQL表散了100份，在HBase集群未提供向业务使用时，通过Sqoop工具导进HBase表所花费的时间大约32个小时(已串行化)，在hbase集群繁忙时，花了10个小时都还没有把一张表导到HBase里面。这是有原因的，Sqoop未实现批量导的功能，它通常是边读边写。
后来自己写了一个从MySQL批量导入HBase的应用程序，每个表导入HBase所需时间平均只需要8分钟。
核心代码如下：
HBaseConfiguration.addHbaseResources(conf);
Job job = new Job(conf, "Load_MySQL_" + table + "_to_HBase_" + hbaseTable);
// 用来读mysql的Mapper
job.setJarByClass(MysqlMapper.class);
job.setMapperClass(MysqlMapper.class);
job.setMapOutputKeyClass(ImmutableBytesWritable.class);
job.setMapOutputValueClass(KeyValue.class);
//配置DB参数
DBConfiguration.configureDB(job.getConfiguration(), driver, connect, username, password);
DataDrivenDBInputFormat.setInput(job, dbWritableClass, query, boundaryQuery);
DataDrivenDBInputFormat.setInput(job, dbWritableClass, table, conditions, splitBy, columns);
//设置输出路径
FileOutputFormat.setOutputPath(job, new Path(tmpTargetDir));
// 自动设置partitioner和reduce
HTable hTable = new HTable(conf, hbaseTable);
HFileOutputFormat.configureIncrementalLoad(job, hTable);
job.waitForCompletion(true);
// 上面JOB运行完后，就把数据批量load到HBASE中
LoadIncrementalHFiles loader = new LoadIncrementalHFiles(conf);
loader.doBulkLoad(new Path(tmpTargetDir), hTable);
相关推荐
博客配套文件，详细演示了如何通过MR程序的方式bulkload数据到hbase，代码可直接用于生产环境。
NULL 博文链接：https://787141854-qq-com.iteye.com/blog/2067818
批量执行hbase shell 命令 #!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell <<EOF truncate 'tracker_total_apk_fact_zyt' major_compact('t_abc') disable 't_abc' drop 't_abc' create...
Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库（往hbase的表中批量插入数据）
基于hadoop的，java实现hive快速导数据到Hbase解决方案。
hbase各种例子新增修改删除批量导入： public static void main(String[] args) throws IOException { Configuration conf = HBaseConfiguration.create(); HBaseHelper helper = HBaseHelper.getHelper(conf); ...
工作中遇到的问题 即 bulkload 实现hive 到Hbase批量写入数据 工作中遇到的问题 即 bulkload 实现hive 到Hbase批量写入数据
实现了HBase的存取，很有借鉴性。是一个在eclipse运行的完整代码
手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 ...2. HBase批量装载——Bulk load 3. HBase的协处理器（Coprocessor） 4. HBase事务 5. HBase数据结构
Hbase调用JavaAPI实现批量导入操作.docx
利用sqoop把mysql数据导入到hbase中，建立phoenix与hbase的映射，用phoenix jdbc操作hbase！达到sql操作nosql！
基于搭建好的hbase集群，将mysql（关系型数据库）的数据抽取到hbase表中。
hbase表操作工具类.连接hbase数据库，根据rowkey删除单条记录,批量删除记录。获取某个字段的值，判断记录是否存在,向hbase表中插单条数据,批量插入到hbase表。 查询表，获取某个字段的值列表，hbase工具
java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行
根据mysql中数据库配置表信息查询mysql中数据，将部分处理为json格式，上传到hbase中。
Hbase有着先天的优势和先天的劣势,而劣势就是其较差的数据定位能力,也就是数据查询能力。因为面向列的特点,Hbase只能单单地以rowkey为主键作查询,而无法对表进行多维查询和join操作,并且查询通常都是全表扫描,耗费...
搭建pinpoint需要的hbase初始化脚本hbase-create.hbase
java操作Hbase之从Hbase中读取数据写入hdfs中源码，附带全部所需jar包，欢迎下载学习。
1. HBase有哪些基本的特征？ 1 HBase特征： 1 2. HBase相对于关系数据库能解决的问题是什么？ 2 HBase与关系数据的区别？ 2 HBase与RDBMS的区别？ 2 3. HBase的数据模式是怎么样的？即有哪些元素？如何存储？等 3 1...
多线程 hbase