前言
最近有点颓废了,有一段时间没有去整理知识点了,心里慌得一批,一天不学习,心里空虚得慌。
Kafka序列化相关知识点内容,其实不是很多,想写点有深度的,能力不允许。
序列化器
ByteArray、ByteBuffer、Bytes、Double、Integer、Long,均实现了org.apache.kafa.common.serialization.Serializer
接口
方法:configuration
serialize
close
自定义序列化器就要实现这接口,并重写三个接口
序列化
- 核心配置
org.apache.kafka.common.serialization.StringSerializer
是序列化为String类型
Properties properties = new Properties();
properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
- 源码
-
public void configure(Map<String, ?> configs, boolean isKey)
:用来配置当前类,这个方法一般在KafkaProducer创建实例时调用的,即KafkaProducer<String,String> producer = new KafkaProducer<String,String>(properties),主要时用来确定编码类型,Kafka的config一般不会去配置serialize.encode,所以默认是UTF-8。 -
public byte[] serialize(String topic, T data)
: 用来执行序列化,即Data转Byte[]类型。 -
public void close()
:用来关闭当前序列化器。一般情况下这个方法都是个空方法,如果实现了此方法,必须确保此方法的幂等性,因为这个方法很可能会被KafkaProducer调用多次。 - 实现的接口Serializer的范型,与serialze方法的data类型一致。
- 自定义序列化也是如StringSerializer一样,实现Serializer接口,然后重写方法。
反序列化
- 核心配置
org.apache.kafka.common.serialization.StringDeserializer
是序列化为String类型
Properties properties = new Properties();
properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
- 源码
-
public void configure(Map<String, ?> configs, boolean isKey)
:用来配置当前类,这个方法一般在KafkaConsumer创建实例时调用的,即KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(properties),主要时用来确定编码类型,Kafka的config一般不会去配置deserialize.encode,所以默认是UTF-8。 -
public byte[] deserialize(String topic, T data)
: 用来执行序列化,即Data转Byte[]类型。 -
public void close()
:用来关闭当前序列化器。一般情况下这个方法都是个空方法,如果实现了此方法,必须确保此方法的幂等性,因为这个方法很可能会被KafkaConsumer调用多次。 - 实现的接口Deserializer的范型,与deserialze方法的返回类型一致,入参data是byte[]。
- 自定义序列化也是如StringDeserializer一样,实现Deserializer接口,然后重写方法。