pyspark连接spark pyspark连接zookeeper

一、ZooKeeper集群搭建

（一）、集群部署的基本流程

   下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

（二）、ZooKeeper集群搭建

1、下载安装包

   去官网下载zookeeper压缩包

2、解压安装包

   tar -zxvf zookeeper-3.4.12.tar.gz解压并重命名为zookeeper

3、修改配置文件

cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg

   vi zoo.cfg 添加内容：

dataDir=/home/hadoop/zookeeper/data
dataLogDir=/home/hadoop/zookeeper/log
server.1=slave1:2888:3888 (主机名, 心跳端口、数据端口)
server.2=slave2:2888:3888
server.3=slave3:2888:3888

   创建文件夹：

cd /home/hadoop/zookeeper/
mkdir -m 755 data
mkdir -m 755 log

   在data文件夹下新建myid文件，myid的文件内容为：

1

4、修改系统环境变量

vi /etc/profile(修改文件)
添加内容：
export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

执行source /etc/profile

5、分发安装包

scp -r /home/hadoop/zookeeper hadoop@mini2:/home/hadoop/
scp -r /home/hadoop/zookeeper hadoop@mini3:/home/hadoop/

6、修改其他机器的配置文件

   到mini2上：修改myid为：2，到mini3上：修改myid为：3

7、启动（每台机器）

zkServer.sh start

8、查看集群状态

1、	jps（查看进程）
2、	zkServer.sh status（查看集群状态，主从信息）

       

二、kafka集群安装

（一）、Kafka集群部署

1、下载安装包

   去apache官网下载kafka

2、解压安装包

   tar -zxvf kafka_2.11-2.0.1.tgz 并重命名为kafka

3、修改配置文件

cp   /home/hadoop/kafka/config/server.properties
/home/hadoop/kafka/config/server.properties.bak
vi  /home/hadoop/kafka/config/server.properties

   添加如下内容：

#broker的全局唯一编号，不能重复
broker.id=0

#用来监听链接的端口，producer或consumer将在此端口建立连接
port=9092

#处理网络请求的线程数量
num.network.threads=3

#用来处理磁盘IO的线程数量
num.io.threads=8

#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400

#接受套接字的缓冲区大小
socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小
socket.request.max.bytes=104857600

#kafka运行日志存放的路径
log.dirs=/tmp/kafka-logs

#topic在当前broker上的分片个数
num.partitions=2

#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，超时将被删除
log.retention.hours=168

#滚动生成新的segment文件的最大时间
log.roll.hours=168

#日志文件中每个segment的大小，默认为1G
log.segment.bytes=1073741824

#周期性检查文件大小的时间
log.retention.check.interval.ms=300000

#日志清理是否打开
log.cleaner.enable=true

#broker需要使用zookeeper保存meta数据
zookeeper.connect=mini1:2181,mini2:2181,mini3:2181

#zookeeper链接超时时间
zookeeper.connection.timeout.ms=6000

#partion buffer中，消息的条数达到阈值，将触发flush到磁盘
log.flush.interval.messages=10000

#消息buffer的时间，达到阈值，将触发flush到磁盘
log.flush.interval.ms=3000

#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
delete.topic.enable=true

#此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!
host.name=mini1

4、分发安装包

   scp -r kafka mini2:/home/hadoop将kafka复制到mini2和mini3上，并将broker.id改为不重复数字，host.name也改为相应的host

5、启动集群

   依次在各节点上启动kafka bin/kafka-server-start.sh config/server.properties

6、Kafka常用操作命令

查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper  mini1:2181
创建topic
bin/kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 1 --topic test
删除topic
bin/kafka-topics.sh --delete --zookeeper mini1:2181 --topic test
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
通过shell命令发送消息
kafka-console-producer.sh --broker-list mini1:9092 --topic itheima
通过shell消费消息
 bin/kafka-console-consumer.sh --zookeeper mini1:2181 --from-beginning --topic test1
查看消费位置
sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper mini1:2181 --group testGroup
查看某个Topic的详情
sh kafka-topics.sh --topic test --describe --zookeeper mini1:2181

三、Spark streaming + spark

（一）、环境准备

   下载spark-streaming-kafka-0-8_2.11-2.4.0.jar，因为目前spark-streaming-kafka-1.0还不支持python。

（二）、示例代码

from pyspark.sql import SparkSession
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
offsets = []


def out_put(m):
    print(m)

def store_offset(rdd):
    global offsets
    offsets = rdd.offsetRanges()
    return rdd


def print_offset(rdd):
    for o in offsets:
        print
        "%s %s %s %s %s" % (o.topic, o.partition, o.fromOffset, o.untilOffset, o.untilOffset - o.fromOffset)



if __name__ == "__main__":
    spark = SparkSession\
            .builder\
            .appName("PythonWordCount") \
            .master("spark://mini1:7077") \
            .getOrCreate()

    sc = spark.sparkContext
    ssc = StreamingContext(sc, 5)
    sc.setCheckpointDir("/home/hadoop/log/kafka")

    def updateFunc(new_values, last_sum):
        return sum(new_values) + (last_sum or 0)
    # kafkaStream = KafkaUtils.createStream(ssc, \
    # [ZK quorum], [consumer group id], [per-topic number of Kafka partitions to consume])
    msg_stream = KafkaUtils.createDirectStream(ssc, ['test'],
                                               kafkaParams={"metadata.broker.list": "mini1:9092,"})
    result = msg_stream.map(lambda x: x[1]).flatMap(lambda x: x.split(" ")).map(lambda x: (x, 1)).updateStateByKey(updateFunc,sc.defaultParallelism)
    msg_stream.transform(store_offset,).foreachRDD(print_offset)
    result.pprint()
    ssc.start()
    ssc.awaitTermination()

    使用以下命令执行

spark-submit --master spark://mini1:7077 --class  sparkstreaming.KafkaStreaming --jars /home/hadoop/jar/kafka/spark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.4.0  /tmp/pycharm_project_563/day5/DirectKafkaCount.py

   另起一个回话：执行生产者指令：

kafka-console-producer.sh --broker-list mini1:9092 --topic test

   此时python端就能看到获取到数据