使用supervisor管理logstashsupervisor和logstash此处不做介绍，直接进行操作配置环境准备需要创建一个普通用户，如jianxp以下均使用该用户部署服务，设用户目录为/home/jianxp，安装目录为/opt准备部署包jdk/supervisor/logstash上传至服务器，默认在/tools目录下，解压到/opt目录下。JDK安装若已安装jdk1.8.0，则只需要
maxwell通过实时收集mysql的binlog变化，可以作为数据同步工具。但有时，应用部署在异地环境，mysql数据库的变化通过maxwell无法直接发送到数据中心进行解析和数据同步，本次使用ngix方式作为代理服务器，收集maxwell发送的json数据后，发送到后端的kafka集群。架构如下：1，多个应用平台分布在不同地域内，远端mysql数据库，可以访问互联网。2，在本地数据中心，使用n
kibana启动报错Elasticsearchclusterdidnotrespondwithlicenseinformation本次报错环境是使用4台elasticsearch服务器组成的ES集群，版本都是elk7.1.0，具体安装步骤网上文档较多。使用cdh1作为master，cdh2，cdh3，cdh4作为datanode节点。在elasticsearch安装完成后，通过http://cdh
使用idea开发flink报错，就是普通的读取文本内容，进行单词计数。scala版本是2.11.12，flink是1.8.1报错信息如下：Exceptioninthread“main”java.lang.NoSuchMethodError:akka.actor.ActorSystemImpl.(Ljava/lang/String;Lcom/typesafe/config/Config;Ljava/
centos7.5-64mysql5.7xtrabackup2.4按照相关文档和资料在centos7上安装了xtrabackup，然后依照命令进行备份报错：[root@host7~]#innobackupex--default-file=/etc/my.cnf--user=root--password=111111--host=localhost/Data/bak_db/…………InnoDB:Op
使用xtrabackup对数据库进行了全量恢复后，手动启动数据库报错。[root@slyl-dev-db~]#servicemysqldstartRedirectingto/bin/systemctlstartmysqld.serviceJobformysqld.servicefailedbecausethecontrolprocessexitedwitherrorcode.See"sy
在window下通过idea开发，在代码中需要spark，使用loacl模式，生成一些数据存放到hive中，使用的也是spark自带的hive库。在idea运行时报错：Errorwhileinstantiating'org.apache.spark.sql.hive.HiveSessionState':java.lang.RuntimeException:Therootscratc
按照oraclesupport网上步骤，对步骤进一步细化，环境是rhel6.2-64 oracle11.2.0.31， 首先安装IB网卡及驱动，并使用命令查看安装好的网卡：[root@nari65 bin]# ifconfig -a ib0 Link encap:InfiniBand HWaddrA0:00:01:00:FE:80:00:00:00:0
HBase配置安装 hbase0.98.5使用hadoop2.2.0安装在rhel6.2系统。 下载 hbase-0.98.5-hadoop2-bin.tar.gz并上传到服务器中使用命令进行解压[root@master soft]# tar -zxvfhbase-0.98.5-hadoop2-bin.tar.gz 对解压后的目录cp到指定目录
Hive配置(只需要主机上配置) MySQL数据库安装元数据迁移到mysql主机上先安装mysql，用于存放hadoop元数据Mysql驱动下载一个数据包mysql-connector-java-5.1.18-bin.jar，放到hive的lib目录下，创建mysql用户并赋权创建hive数据库mysql>create database hive;mysql
Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将进行介绍集群模式的安装配置由于集群模式下, 各server部署在不同的机器上, 因此各server的conf/zoo.cfg文件可以完全一样. zookeeper-3.5.0-alpha.tar.gz 一、安装需求安装java 1.6及hadoop 0.20.
本次pig安装在一个hadoop伪分布式节点。Pig是yahoo捐献给apache的一个项目，它是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。Pig是一个客户端应用程序，就算你要在Hadoop集群上运行Pig，也不需要在集群上装额外的东西。 首先从官网上下载pig安装包，
今天我们来实际搭建一下Hadoop 2.2.0版，实战环境为目前主流服务器操作系统RedHat6.2系统，本次环境搭建时，各类介质均来自互联网，在搭建环境之前，请提前准备好各类介质。一、 环境规划 功能HostnameIP地址NamenodeMaster192.168.200.2DatanodeSlave1192.168.200.3DatanodeSlave2192.168.200.4D
方法一：使用spool进行保存 SQL> spool emp.txt SQL> select empno||','||ename||','||job||','||mgr||','||sal from emp; EM
在读Troubleshooting Oracle Performance一书时看到里面提到 TVD$XTAT工具，自己试验了一下，感觉很好用。以下内容出自网络，本人只是做简单收集。 扩展跟踪文件分析工具 (TVD$XTAT)是个命令行工具。和TKPROF一样，主要目的是把原始跟踪文件作为输入内容生成一个格式化的文件作为输出内容。输出文件可以是HTML或是文本文件。 下面是安装过程：
在linux下的虚拟内存优化配置
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
