zookeeper 创建多级目录 zookeeper data目录

Zookeeper安装

前提jdk安装完毕

1、将压缩包放入/opt/software/下面

 2、解压缩

tar -zxvf apache-zookeeper-3.5.7-bin.tar(1).gz -C /opt/module

#改名 
mv zookeeper3.5.7 zookeeper

3、编辑配置文件

cd /opt/module/zookeeper/conf
#复制配置文件
cp zoo_sample.cfg zoo.cfg
#进入cfg文件中配置
dataDir=/tmp/zookeeper/data
dataLogDir=/tmp/zookeeper/log

 4、进入/tmp文件夹创建对应的data和log文件夹

mkdir /tmp/zookeeper
mkdir /tmp/zookeeper/data 
mkdir /tmp/zookeeper/log
#在data文件夹下创建myid文件，根据给上面配置的server.1给myid
vim myid
hadoop102里面就写1
Hadoop103里面就写2
...

 5、配置环境变量

 分发到其他机器

sudo xsync /etc/profile.d/my_env.sh

使环境变量生效

source /etc/profile.d/my_env.sh

6、启动zookeeper

cd $ZOOKEEPER_HOME/bin
./zkServer.sh start

7、一些zookeeper命令

...

Kafka安装

Hbase安装

1、jar包下载安装

Index of /dist/hbase

https://archive.apache.org/dist/hbase/

上传到/opt/software下面

解压  tar -zxvf -C /opt/module 

2、环境变量

cd /etc/profile.d/my_env.sh

#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin

---------分割线--------
分发到其他三个节点
/home/hz/bin/xsync /etc/profile.d/my_env.sh
三台机器都需执行，使环境变量生效
source /etc/profile.d/my_env.sh

3、修改conf目录下的配置文件

vim /opt/module/hbase/conf/hbase-env.sh
将这条命令放开，并修改位false
# Tell HBase whether it should manage it's own instance of ZooKeeper or not.
export HBASE_MANAGES_ZK=false

------------------分割线-------------------------
vim /opt/module/hbase/conf/hbase-site.xml
在configuration里面增加下面三个配置。
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop102,hadoop103,hadoop104</value>
        <description>The directory shared by RegioServers.
        </description>
    </property>

    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop102:8020/hbase</value>
        <description>The directory shared by RegioServers.
        </description>
    </property>

    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>

<!-- 注意：为了开启hbase的namespace和phoenix的schema的映射，在程序中需要加这个配置文件，另外在linux服务上，也需要在hbase以及phoenix的hbase-site.xml配置文件中，加上以上两个配置，并使用xsync进行同步（本节1中文档已有说明）。-->
    <property>
        <name>phoenix.schema.isNamespaceMappingEnabled</name>
        <value>true</value>
    </property>

    <property>
        <name>phoenix.schema.mapSystemTablesToNamespace</name>
        <value>true</value>
    </property>



---------------------分割线------------------------
修改regionservers文件,将localhost删除，增加下面三个；不要带空格，换行
hadoop102
hadoop103
hadoop104

4、分发hbase

xsync /hbase

5、启动hbase

start-hbase.sh

stop-habse.sh 

6、查看网页

hadoop102:16010

7、配置高可用

cd /opt/module/hbase

touch conf/backup-masters

echo hadoop103 conf/backup-masters

xsync conf/

phoenix安装

Apache DownloadsHome page of The Apache Software Foundation

https://www.apache.org/dyn/closer.lua/phoenix/phoenix-5.1.2/phoenix-hbase-2.4-5.1.2-bin.tar.gz解压 tar -zxvf p -C /opt/module

改名

拷贝jar包到hbase

cp phoenix-5.0.0-HBase-2.0-server.jar /opt/module/hbase/lib/

分发

配置环境变量

注意：在配置hbase-site.xml如果有映射需要将这个映射同时也给phoenix复制到bin目录下面

clickhouse安装

1、前置工作

CentOS取消打开文件限制

sudo vim /etc/security/limits.conf
添加下面配置
* soft nofile 65535
* hard nofile 65535
* soft nproc 131072
* hard nproc 131072

#解释
*代表所有用户和所有组，可以单独配置。比如：hz@bigdata
soft/hard 代表当前/最大
nofile 读取文件数
nproc 线程数

------------------分割线-------------------------
sudo vim /etc/security/limits.d/20-nproc.conf
同样配置上面的配置

最后分发到其他机器，重启机器即可生效。
通过ulimit -a 命令可以查看是否修改成功。

安装依赖

sudo yum install -y libtool

sudo yum install -y *unixODBC

CentOS取消SELINUX(linux安全设置)

sudo vim /etc/selinux/config

SELINUX=disabled

安装

Index of /repos/clickhouse/stable/el7

http://repo.red-soft.biz/repos/clickhouse/stable/el7/将rpm包下载下来上传。

rpm -ivh *.rpm

解压所有的rpm包。

配置

vim /etc/clickhouse-server/config.xml

将这个参数放开

小知识

这种安装的软件的一些东西放在那里

bin/ --> /usr/bin/

cof/ --> /etc/clickhouse-server/

lib/ --> /var/lib/clickhouse

log/ --> /var/log 

config.xml 服务端的配置

users.xml 参数配置(cpu，内存)

问题

配置完这些参数后，启动发现启动不了，报了下面的错误。

百度说：百度说是本机没有开放ipv6，只能对ipv4生效。

 解决：在/etc/click-house/config.xml中，把<listen_host> 改成0.0.0.0或:: 。因为本来就是 ::，尝试改成0.0.0.0，重启，问题解决。