前言

最近有点颓废了,有一段时间没有去整理知识点了,心里慌得一批,一天不学习,心里空虚得慌。
Kafka序列化相关知识点内容,其实不是很多,想写点有深度的,能力不允许。

序列化器

ByteArray、ByteBuffer、Bytes、Double、Integer、Long,均实现了org.apache.kafa.common.serialization.Serializer接口
方法:configuration
serialize
close
自定义序列化器就要实现这接口,并重写三个接口

序列化

  • 核心配置

org.apache.kafka.common.serialization.StringSerializer
是序列化为String类型

Properties properties = new Properties();
properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
  • 源码
  1. public void configure(Map<String, ?> configs, boolean isKey):用来配置当前类,这个方法一般在KafkaProducer创建实例时调用的,即KafkaProducer<String,String> producer = new KafkaProducer<String,String>(properties),主要时用来确定编码类型,Kafka的config一般不会去配置serialize.encode,所以默认是UTF-8。
  2. public byte[] serialize(String topic, T data): 用来执行序列化,即Data转Byte[]类型。
  3. public void close():用来关闭当前序列化器。一般情况下这个方法都是个空方法,如果实现了此方法,必须确保此方法的幂等性,因为这个方法很可能会被KafkaProducer调用多次。
  4. 实现的接口Serializer的范型,与serialze方法的data类型一致。
  5. 自定义序列化也是如StringSerializer一样,实现Serializer接口,然后重写方法。

反序列化

  • 核心配置

org.apache.kafka.common.serialization.StringDeserializer
是序列化为String类型

Properties properties = new Properties();
properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
  • 源码
  1. public void configure(Map<String, ?> configs, boolean isKey):用来配置当前类,这个方法一般在KafkaConsumer创建实例时调用的,即KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(properties),主要时用来确定编码类型,Kafka的config一般不会去配置deserialize.encode,所以默认是UTF-8。
  2. public byte[] deserialize(String topic, T data): 用来执行序列化,即Data转Byte[]类型。
  3. public void close():用来关闭当前序列化器。一般情况下这个方法都是个空方法,如果实现了此方法,必须确保此方法的幂等性,因为这个方法很可能会被KafkaConsumer调用多次。
  4. 实现的接口Deserializer的范型,与deserialze方法的返回类型一致,入参data是byte[]。
  5. 自定义序列化也是如StringDeserializer一样,实现Deserializer接口,然后重写方法。

kafka avro 序列化工具漏洞 kafka消息序列化_kafka avro 序列化工具漏洞