geoserver rest api 创建存储 dataStore Directory of spatial files

转载

mob64ca1412b28c 2024-11-22 11:41:43

文章标签 java nosql hadoop gis jar 文章分类 云原生云计算

1. 技术栈介绍

随着互联网技术日益发展，庞大的数据量，传统关系型数据库已无法满足业务需求，需结合Nosql型数据库来应对时空海量数据和业务发展。针对日前互联网外出交通出行，位置点实时监控与轨迹播放等场景，提供一套有效的技术方案来满足需求。本文选型Geomesa+HBase技术栈，教大家搭建一套属于自己的单机版时空大数据环境，自下而上的技术组件介绍，希望能使大家清晰的掌握该组合技术栈。

1.1 Hadoop+HBase

Hbase用于时空数据的存储，实时监控点的更新，以及海量轨迹路线的存储。（感兴趣的博友可以与此对比Orcale、Postgresql数据库）

http://hadoop.apache.org/

https://blogs.apache.org/hbase/

1.2 Geomesa

GeoMesa是一款开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包，它支持多种可扩展的、基于云端的数据存储架构，包括Apache Accumulo, HBase，Cassandra，Google Bigtable，以及用于流计算的Apache Kafka 。同时GeoMesa还可以和Apache Storm一起处理流数据，并使用Spark进行空间分析。同时，GeoMesa以GeoServer插件的形式为GeoServer提供了读取GeoMesa表的功能。在GeoServer中，GeoMesa表作为一种数据源存在，通过GeoServer，用户可以通过WMS/WFS的形式访问GeoMesa的数据。

https://www.geomesa.org/

1.3 Geoserver

Geoserver是一款优秀的基于OGC（开放地理信息联盟）标准开发的数据渲染和电子地图生产服务引擎。

http://geoserver.org/

1.4 OpenLayers

ol用于电子地图的浏览器端展示，也可选择leaflet、mapbox-gl-js等技术栈

https://openlayers.org/

2. 部署环境

2.1 环境依赖

Ubuntu 16.04（操作系统）
JDK8
Maven （3.6.3）
Tomcat（8.5.5）
Hadoop（本文使用2.8.5）
Zookeeper （3.4.14）
HBase（1.4.13）
Geomesa-hbase（2.11-3.1.0）
Geoserver（2.17.2）

2.2 HAPOOP安装

2.2.1 SSH的安装、配置

sudo apt-get install ssh

ssh-keygen -t rsa

cd ~/.ssh
 
cat id_rsa.pub >> authorized_keys
 
ssh localhost

2.2.2 下载hadoop压缩包

http://archive.apache.org/dist/hadoop/core/hadoop-2.8.5/

2.2.3 命令行解压

tar zxvf hadoop-2.8.5.tar.gz

2.2.4 配置

a. 环境变量配置（可选择hadoop安装路径）

sudo vim /etc/profile

export HADOOP_HOME=/home/ubuntu/soft/hadoop-2.8.5

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 更新环境变量
source /etc/profile

# 验证hadoop是否配置成功
ubuntu@ubuntu:~$ hadoop version
Hadoop 2.8.5

b. 文件配置

新增java环境变量配置

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

c. hdfs（name和data节点）配置

cd hadoop-2.8.5

hdfs-site.xml配置

vim ./etc/hadoop/hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/ubuntu/soft/hadoop-2.8.5/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/home/ubuntu/soft/hadoop-2.8.5/tmp/dfs/data</value>
        </property>
	<property>
		<name>dfs.http.address</name>
		<value>0.0.0.0:50070</value>
	</property>
     <property>
          <name>dfs.permissions</name>
          <value>false</value>
          <description>need not permissions</description>
     </property>
</configuration>

core-site.xml配置

vim ./etc/hadoop/core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
	     <value>file:/home/ubuntu/soft/hadoop-2.8.5/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <!--0.0.0.0便于其他服务器ip访问-->
             <value>hdfs://0.0.0.0:9000</value>
        </property>
</configuration>

namenode格式化，启动namenode和datanode

hdfs namenode -format

geoserver rest api 创建存储 dataStore Directory of spatial files_gis

打开http://192.168.1.5:50070/查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件

geoserver rest api 创建存储 dataStore Directory of spatial files_java_02

2.3 Zookeeper安装

zk安装相对容易，这里不再赘述，附上其他博友安装链接供大家参考

2.4 HBase安装

本文HBase使用外部zookeeper

2.4.1 下载解压

https:///apache/hbase/1.4.13/

tar zxvf hbase-1.4.13

2.4.2 配置

a. 环境变量配置

export HBASE_HOME=/home/ubuntu/soft/hbase-1.4.13
export PATH=$HBASE_HOME/bin:$PATH

b. 编辑

# java配置
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
# 外部zk，如果使用hbase自带zk，修改为true
export HBASE_MANAGES_ZK=flase

c. 编辑hbase-site.xml

<configuration>
	<property>
		<name>hbase.rootdir</name>
        <!--hdfs地址-->
		<value>hdfs://192.168.1.5:9000/hbase</value>
	</property>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>   
	<property>
		<name>hbase.zookeeper.quorum</name>
        <!--zk集群可以使用zk1:2181;zk2:2181方式配置-->
		<value>192.168.1.5:2181</value>
	</property>
		<property>
		<name>hbase.tmp.dir</name>
		<value>/home/ubuntu/soft/hbase-1.4.13/tmp</value>
	</property>
	<property>
        <!--使用本地目录-->
		<name>hbase.zookeeper.property.dataDir</name>
		<value>/home/ubuntu/soft/zookeeper-3.4.14/data</value>
	</property>
</configuration>

d. 配置regionservers

可配置单节点zk，或者多节点zk

192.168.1.5

e. hbase安装验证与启动

# hbase安装验证
ubuntu@ubuntu:~$ hbase version
HBase 1.4.13

# hbase启动

f. 验证是否使用外部zk，浏览器验证hbase界面化

ubuntu@ubuntu:~$

zk连接服务会有hbase服务

浏览器验证http://192.168.1.5:16010/master-status

geoserver rest api 创建存储 dataStore Directory of spatial files_java_03

2.5 Geomesa+HBase部署

可以使用geomesa+hbase源码安装，也可使用发行版本安装，本文选择发行版安装。

如果使用源码安装请参照阿里云潇博士安装文章：

发行版安装包下载路径

https:///locationtech/geomesa/releases/download/geomesa_2.11-3.1.0/geomesa-hbase_2.11-3.1.0-bin.tar.gz

2.5.1 下载解压

$ tar xvf geomesa-hbase_2.11-3.1.0-bin.tar.gz
$ cd geomesa-hbase_2.11-3.1.0
$ ls
bin/  conf/  dist/  docs/  examples/  lib/  LICENSE.txt  logs/

2.5.2 环境变量配置

vim ~/.bashrc

# 配置GEOMESA_HBASE_HOME
export GEOMESA_HBASE_HOME="/home/ubuntu/soft/geomesa-hbase_2.11-3.1.0"
export GEOMESA_LIB="/home/ubuntu/soft/geomesa-hbase_2.11-3.1.0/lib"
export GEOMESA_LOG_DIR="/home/ubuntu/soft/geomesa-hbase_2.11-3.1.0/logs"
export PATH=${GEOMESA_HBASE_HOME}/bin:$PATH

Hbase2请使用geomesa-hbase-distributed-runtime-hbase2_2.11-3.1.0.jar

Hbase1请使用geomesa-hbase-distributed-runtime-hbase1_2.11-3.1.0.jar

${GEOMESA_HBASE_HOME}/dist/hbase/geomesa-hbase-distributed-runtime-hbase1_2.11-3.1.0.jar拷贝到${HBase_HOME}/lib目录下

2.5.3 注册coprocessor

Geomesa使用HBase提供的coprocessor工具将处理过程移动到服务器端运行来提高查询效率，最简单的注册方式就是直接修改hbase-site.xml，增加以下内容：

<property>
    <name>hbase.coprocessor.user.region.classes</name>
    <value>org.locationtech.geomesa.hbase.coprocessor.GeoMesaCoprocessor</value>
</property>

2.5.4 初始化geomesa-hbase

bin/geomesa-hbase configure

2.5.5 存储测试数据

a. 下载shp数据

http://download.geofabrik.de/asia/

b. 如果已有geoserver

请用geoserver lib包jts-core-$version.jar替换geomesa-hbase的jts-core包，避免版本冲突导致数据导入hbase报错

c. 数据入hbase

geomesa-hbase ingest 
    --catalog gis_osm_pois_free_1 
    --feature-name gis_osm_pois_free_1 
    --input-format shp /home/ubuntu/data/china-latest-free.shp/gis_osm_pois_free_1.shp

c. geomesa-hbase命令行参数说明

https://www.geomesa.org/documentation/stable/user/hbase/usage.html

2.6. Geoserver部署

geoserver可使用源码编译

https:///geoserver/geoserver

本文使用war包+tomcat运行

http://geoserver.org/release/2.17.2/

2.6.1 tomcat运行geoserver war包

2.6.2 替换geomesa-hbase jts-core包

参考2.5.5 b

2.6.3 整合geomesa-hbase

a. 将 $GEOMESA_HBASE_HOME/dist/gs-plugins/geomesa-hbase-gs-plugin_2.11-$VERSION-install.tar.gz解压到WBE-INF/lib路径下；

b. 由于geomesa-hbase-gs-plugin并不包含有Hadoop、HBase有关的依赖jar文件，所以需要手动将以下jar文件复制到WBE-INF/lib路径下（仔细观察geoserver相关包是否已存在，小心jar冲突）

hbase1依赖包

commons-cli-1.2.jar
commons-configuration-1.6.jar
commons-io-2.5.jar
commons-logging-1.1.3.jar
hadoop-auth-2.8.5.jar
hadoop-client-2.8.5.jar
hadoop-common-2.8.5.jar
hadoop-hdfs-2.8.5.jar
hadoop-hdfs-client-2.8.5.jar
hadoop-mapreduce-client-core-2.8.5.jar
hbase-client-1.4.13.jar
hbase-common-1.4.13.jar
hbase-hadoop-compat-1.4.13.jar
hbase-protocol-1.4.13.jar
htrace-core-3.1.0-incubating.jar
htrace-core4-4.1.0-incubating.jar
metrics-core-2.2.0.jar
netty-3.6.2.Final.jar
netty-all-4.1.48.Final.jar
protobuf-java-2.5.0.jar
zookeeper-3.4.14.jar

2.6.4 启动tomcat

浏览器地址访问：http://192.168.1.5:8080/

geoserver rest api 创建存储 dataStore Directory of spatial files_jar_04

新增geomesa-hbase数据存储

geoserver rest api 创建存储 dataStore Directory of spatial files_gis_05

geoserver rest api 创建存储 dataStore Directory of spatial files_hadoop_06

2.6.5 openlayers浏览器效果预览

geoserver rest api 创建存储 dataStore Directory of spatial files_gis_07

3 geomesa+hbase探索

3.1 如何实现类似postgresql + postgis数据库功能，可以在同一datastore中多表访问，而不是每个表对应一个datastore

3.2 面数据geomesa-hbase导入错误解决

Caused by: java.lang.NoSuchMethodError: org.locationtech.jts.geom.Polygon.getExteriorRing()Lorg/locationtech/jts/geom/LinearRing;

4.结尾总结

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：虚拟机安装系统提示找不到镜像文件

下一篇：android内加载ppt文件

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯