当前位置：首页 > news >正文

无锡天罡建设有限公司网站营销型网站设计

news 2025/7/25 11:17:15

无锡天罡建设有限公司网站,营销型网站设计,官网首页,百家号网站开发属于什么领域压缩 (compression) : 用时间换空间的思想用较小的 CPU 开销获得磁盘少占用或网络 I/O 少传输 Kafka 消息分两层： 消息日志组成 : n 个消息集合消息集合 (message set) 组成 : n 条日志项 (record item)日志项封装了消息 (message)Kafka 在消息集合层上进行写入…

压缩 (compression) : 用时间换空间的思想

用较小的 CPU 开销获得磁盘少占用或网络 I/O 少传输

Kafka 消息分两层：

消息日志组成 : n 个消息集合
消息集合 (message set) 组成 : n 条日志项 (record item)
日志项封装了消息 (message)
Kafka 在消息集合层上进行写入操作

消息格式

Kafka 消息格式的引入版本 :

V0 版本 : Kafka 0.10.0.0 前
V1 版本 : Kafka 0.10.0.0 后引入
V2 版本 : Kafka 0.11.0.0 后引入

V0/V1

V0 消息格式 :

CRC 在每个消息中
没有时间戳

在这里插入图片描述

V1 消息格式 :

CRC 依然在每个消息中
增加了时间戳 , 记录该消息的事件时间
attribute 的第4位 : 时间戳类型 : CREATE_TIME (Producer 创建时间) , LOG_APPEND_TIME (Broker 写入时间)

在这里插入图片描述

V0/V1的消息集合格式 :

offset : 该消息的 offset (未压缩) ; 该批消息中最后一条消息的 offset (压缩)

在这里插入图片描述

V0/V1的缺点 :

空间使用率低 : 固定 4 字节保存 key 或 value 的长度
消息总长度未保存 : 要实时计算总字节数
只保存最新消息位移 : 压缩后只保留最后一条 offset
冗余 CRC 校验 : 每条消息都有 CRC

V2

V2 消息格式 :

增加了消息总长度
改为可变长的时间增量 (以消息集合中的起始时间戳)
去除了 CRC 验证

在这里插入图片描述

V2 消息集合格式 :

增加 CRC 验证
增加支持幂等性及事务的 PID , producer epoch , 序列号

在这里插入图片描述

CRC

CRC 校验对比：

V1 的每条消息都要执行 CRC 校验，当出现 CRC 变化时，对每条消息都执行 CRC 校验，会浪费空间还耽误 CPU 时间
V2 把消息的 CRC 校验移到了消息集合层

CRC 变化情况：

Broker 对消息时间戳字段更新时，CRC 值会更新
Broker 对消息格式转换时 (兼容老版本客户端），CRC 值会变化

压缩

各格式的压缩情况：

V1 ：把多条消息进行压缩，再保存到外层消息的消息体字段中
V2 ：对整个消息集合进行压缩

V2 / V1 对比：

在这里插入图片描述

压缩

压缩的地方：生产者端和 Broker 端

Broker 从 Producer 收到消息后，而不会重新压缩 (有特例)

开启 GZIP 的 Producer 对象 :

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("acks", "all");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
//指定 GZIP 压缩
props.put("compression.type", "gzip");Producer<String, String> producer = new KafkaProducer<>(props);