前面我们搭建了Hadoop及HBase本地开发环境，（参见前文：Win7 64位系统上Hadoop单机模式的安装及开发环境搭建，Win7 64位系统上HBase单机模式的安装）多数情况下，对于MapReduce模型，其底层使用HDFS作为存储，在HDFS中，其NameNode节点保存的是文件的元数据，DataNode保存真正的文件数据，如果是大型数据文件，这没有任何问题，但如果对于大量的小文件，其不足也是很明显的，NameNode中因为大量的小文件的元数据，占用大量的内存空间，将使得HDFS性能受到很大影响，一个可行的方案是，将大量小文件保存到HBase中，本文及后续文章讨论的是以HBase作为存储，如何将小文件或大文件导入到HBase中去，每个小文件将保存在独立的cell中，而对于大文件，将先上传到HDFS中，然后再使用MapReduce方法，将文件内容读入到HBase中。
场景描述：
对于小文件，我这里假设不足10M，这样我们就不需要对文件split并保存到不同的cell中，在HBase中，每一个行与列的交汇处，称为一个cell，其默认上限是10M，当然这个是可以通过配置文件调整的，调整的配置项是 “hbase.client.keyvalue.maxsize”，其默认值是10485760。对于文件源，可以是本地的文件，本测试用例中使用的是本地的email文件，大小才15k左右，我们将创建一个本地Java工程，读取本地文件后，再通过API保存到HBase中。另外一个可能的场景是，将本地程序变换为一个RESTful API，外部系统远程调用这个RESTful API，将数据存到HBase中，通过这个API，可以串起2个独立的系统。
项目步骤：
1：在IDEA中创建一个Java Maven工程
2： 修改pom.xml，引入hbase 1.2.6，因为要使用API操作HBase
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>ImportFile</groupId>
<artifactId>ImportFile</artifactId>
<version>1.0-SNAPSHOT</version>
<repositories>
<repository>
<id>apache</id>
<url>http://maven.apache.org</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.2.6</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<executions>
<!-- Run shade goal on package phase -->
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<!-- Do not copy the signatures in the META-INF folder.
Otherwise, this might cause SecurityExceptions when using the JAR. -->
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
<createDependencyReducedPom>false</createDependencyReducedPom>
</configuration>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
</plugins>
</build>
</project>3：添加处理HBase的类HbaseUtility，分别包含表的创建，添加，删除，查询数据的方法
package examples;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import java.io.IOException;
public class HBaseUtility {
static String TABLE_NAME = "email";
static String[] COLUMN_FAMILY = {"cf1"};
static String[] COLUMNS = {"message"};
public static void HBaseOperation(String fileContent) {
//*******************************************************//
Connection conn = null;
Admin admin = null;
try {
Configuration conf = HBaseConfiguration.create();
conn = ConnectionFactory.createConnection(conf);
admin = conn.getAdmin();
TableName tableName = TableName.valueOf(TABLE_NAME);
CreateTable(admin,tableName);
DeleteData(conn,tableName);
PutData(conn, tableName, fileContent);
GetData(conn, tableName);
}
catch (IOException e)
{
e.printStackTrace();
}
finally
{
try {
if (admin != null) {
admin.close();
}
if (conn != null) {
conn.close();
}
}
catch (IOException e)
{
e.printStackTrace();
}
}
}
}在上面类中添加HBase的操作函数：
//创建hbase表
private static void CreateTable(Admin admin, TableName tableName)
{
try {
if (admin.tableExists(tableName)) {
System.out.println(tableName + " table already exists！");
} else {
HTableDescriptor tableDesc = new HTableDescriptor(tableName);
for (String column : COLUMN_FAMILY) {
tableDesc.addFamily(new HColumnDescriptor(column));
}
admin.createTable(tableDesc);
System.out.println(tableName + " is created successfully！");
}
}
catch (IOException e)
{
e.printStackTrace();
}
}
//保存数据
private static void PutData(Connection conn, TableName tableName, String rowKey, String fileContent) {
System.out.println("PUT value..............................................");
try
{
Table table = conn.getTable(tableName);
Put put = new Put (rowKey.getBytes());
put.addColumn(COLUMN_FAMILY[0].getBytes(), COLUMNS[0].getBytes(), fileContent.getBytes());
table.put(put);
table.close();
}
catch (IOException e)
{
e.printStackTrace();
}
}
//查询数据
private static void GetData(Connection conn, TableName tableName, String rowKey) {
System.out.println("GET value..............................................");
try
{
Table table = conn.getTable(tableName);
Get get = new Get(rowKey.getBytes());
//get.addFamily(COLUMN_FAMILY_NAME.getBytes());
//get.addColumn(COLUMN_FAMILY_NAME.getBytes(),COLUMNS[0].getBytes());
Result result = table.get(get);
// get column family
result.getFamilyMap(COLUMN_FAMILY[0].getBytes()).forEach((k,v) -> System.out.println(new String(k) + ":" + new String(v)));
table.close();
}
catch (IOException e)
{
e.printStackTrace();
}
}
//删除数据
private static void DeleteData(Connection conn, TableName tableName)
{
System.out.println("DELETE value..............................................");
String rowKey = "row1";
try
{
Table table = conn.getTable(tableName);
Delete delete = new Delete(rowKey.getBytes());
delete.addColumn(COLUMN_FAMILY[0].getBytes(),COLUMNS[0].getBytes());
table.delete(delete);
table.close();
}
catch (IOException e)
{
e.printStackTrace();
}
}
4：添加主程序入口，读取本地文件，并调用HBaseUtility方法
package examples;
import java.io.File;
import java.io.FileReader;
import java.io.FileNotFoundException;
import java.io.IOException;
public class ImportFile {
public static void main (String[] args)
{
File file = new File("D:\\MyEmail\\Test email successful.eml");
String fileContent = ReadFile(file);
HBaseUtility.HBaseOperation(fileContent);
}
private static String ReadFile(File file) {
FileReader fr = null;
String fileContent = null;
try {
StringBuffer sb = new StringBuffer();
fr = new FileReader(file);
// 定义字符数组
char[] buf = new char[1024];// 缓冲区大小
int len = 0;// 长度读取的字符个数
while ((len = fr.read(buf)) != -1) {
System.out.println(new String(buf, 0, len));
sb.append(buf,0,len);
}
fileContent = new String(sb);
System.out.println(fileContent);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} finally {
if (fr != null) {
try {
fr.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
return fileContent;
}
}5：测试
启动Hadoop，Hbase
cd D:\Application\hadoop-2.7.4\sbin
start-all.cmd
cd D:\Application\hbase-1.2.6\bin
start-hbase.cmd
hbase shell将可以看到以下的命令行窗口
现在可以在IDEA中设置断点，点击调试按钮开始调试了：
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
