1 hadoop启动指令
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 单独启动NameNode守护进程
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
hadoop-daemons.sh start datanode 单独启动DataNode守护进程
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程
start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程
hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程
hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程
hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程
mr-jobhistory-daemon.sh start historyserver 查看历史任务
2 查看端口占用
lsof -i:80
netstat -nltcp | grep 80
3 mysql启动指令(nginx httpd启动命令一样)
service mysqld start 启动
service mysqld stop 停止
service mysqld restart 重启
mysql -u root -p 进入客户端
4 hive启动指令
先启动mysql
输入hive启动并进入客户端
5 zookeeper启动命令
zkServer.sh start 启动
zkServer.sh stop 停止
zkCli.sh 进入客户端
6 hbase启动指令
start-hbase.sh 启动
stop-hbase.sh 停止
hbase-daemon.sh start master 单独启动一个HMaster进程
hbase-daemon.sh stop master 单独停止一个HMaster进程
hbase-daemon.sh start regionserver 单独启动一个HRegionServer进程
hbase-daemon.sh stop regionserver 单独停止一个HRegionServer进程
hbase shell 进入客户端
7 flume启动指令
flume-ng agent -c flume_home/conf -f flume_home/conf/avro.conf -n a1 -Dflume.root.logger=INFO,console
# -c:使用配置文件所在目录(这里指默认路径,即$FLUME_HOME/conf)
# -f:flume定义组件的配置文件
# -n:启动Agent的名称,该名称在组件配置文件中定义
# -Dflume.root.logger:flume自身运行状态的日志,按需配置,详细信息,控制台打印
8 sqoop启动指令
$ sqoop import (generic-args) (import-args) 从关系型数据库(mysql)的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中
$ sqoop export (generic-args) (export-args) 从 Hadoop 系统里抽取并导出到关系型数据库里
9 oozie启动指令
oozie-start.sh 或者 oozied.sh start 启动
10 spark启动指令
start-master.sh
start-slaves.sh
spark shell 进入客户端执行scala指令
11 kafka启动指令
zkServer.sh start 先启动zookeeper
./kafka-server-start.sh -daemon ./config/server.properties &
12 elasticsearch后台启动指令
./elasticsearch -d
13 查找进程
ps -ef | grep elastic(red等等)
14 logstash启动指令
./logstash -f logstash.conf
15 redis启动命令
./redis-server redis.conf
./redis-cli -h 127.0.0.1 -p 6379
./redis-cli shutdown
16 storm启动命令
先启动zookeeper
./storm nimbus &
./storm supervisor &
./storm ui &
ip:8080
Spark Core就是一个通用的批处理计算引擎,用来开发离线的批处理作业,它与Hadoop的MapReduce的区别就是,spark core基于内存计算,在速度方面有优势,尤其是机器学习的迭代过程。
Spark SQL就是Spark生态系统中一个开源的数据仓库组件,可以认为是Hive在Spark的实现,用来存储历史数据,做OLAP、日志分析、数据挖掘、机器学习等等