Java kafka 认证方式

转载

mob64ca140e0490 2024-12-20 14:03:27

文章标签 Java kafka 认证方式 java 面试学习 Java 文章分类 Java 后端开发

props.put(“retries”, 0);
 props.put(“batch.size”, 16384);
 props.put(“linger.ms”, 1);
 props.put(“buffer.memory”, 33554432);
 props.put(“key.serializer”, “org.apache.kafka.common.serialization.StringSerializer”);
 props.put(“value.serializer”, “org.apache.kafka.common.serialization.StringSerializer”);Producer<String, String> producer = new KafkaProducer<>(props);
 for(int i = 0; i < 100; i++)
 producer.send(new ProducerRecord<String, String>(“my-topic”, Integer.toString(i), Integer.toString(i)));producer.close();

1.1、新的生产者是线程安全的，在线程之间共享单个生产者实例，通常单例比多个实例要快。  
 1.2、生产者的send()方法是异步的，添加消息到缓冲区等待发送，并立即返回。生产者将单个的消息批量在一起发送来提高效率。  
 1.3、**ack** ：是判别请求是否成功发送了。如果我们指定了“**all**”将会阻塞消息，这种设置性能最低，但却是最可靠的。  
 1.4、**retries**：如果信息发送失败，生产者会自动重试，我们指定是0次，如果启用重试，则会有重复发送消息的可能性。  
 1.5、**batch.size**：producer默认缓存每个分区尚未发送的消息。缓存的大小是通过 batch.size 配置指定的。较大的话需要更多的内存（因为每个“活跃”的分区都有1个缓冲区）。  
 1.6、默认缓冲可立即发送，即便缓冲空间还没有满，但是，如果你想减少请求的数量，可以设置**linger.ms**大于0。这将指示生产者发送请求之前等待一段时间，希望更多的消息填补到未满的批次中。需要注意的是，在高负载下，相近的时间一般也会组成批，即使是 **linger.ms=0**。在不处于高负载的情况下，如果设置比0大，以少量的延迟代价换取性能比较好。  
 1.7、**buffer.memory** 控制生产者可用的缓存总量，如果消息发送速度比其传输到服务器的快，将会耗尽这个缓存空间。当缓存空间耗尽，其他调用发送将被阻塞，阻塞时间的阈值通过**max.block.ms**设定，超过阻塞时间后它将抛出一个**TimeoutException**。  
 1.8、**key.serializer**和**value.serializer**示例，将用户提供的**key**和**value**对象**ProducerRecord**转换成字节，你可以使用附带的**ByteArraySerializaer**或**StringSerializer**处理简单的**string**或**byte**类型。


## 2 Send()

public Future send(ProducerRecord<K,V> record,Callback callback)

2.1 异步发送一条消息到topic，当发送完成会调用**callback**。  
 2.2 send是异步的，并且一旦消息被保存在**等待发送的消息缓存中**，此方法就立即返回。这样并行发送多条消息而不阻塞去等待每一条消息的响应。  
 2.3 发送的结果是一个**RecordMetadata**，它指定**了消息发送的分区，分配的offset和消息的时间戳**。如果topic使用的是CreateTime，则使用用户提供的时间戳或发送的时间（如果用户没有指定指定消息的时间戳）如果topic使用的是LogAppendTime，则追加消息时，时间戳是broker的本地时间。  
 2.4 由于**send**调用是异步的，它将为分配消息的此消息的**RecordMetadata**返回一个**Future**。如果**future**调用**get()**，则将阻塞，直到相关请求完成并返回该消息的**metadata**，或抛出发送异常。

byte[] key = “key”.getBytes();
 byte[] value = “value”.getBytes();
 ProducerRecord<byte[],byte[]> record = new ProducerRecord<byte[],byte[]>(“my-topic”, key, value)
 producer.send(record).get();