当前位置 博文首页 > Shockang的博客:Kafka 的幂等生产者是什么?
本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!
本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系
“幂等”这个词原是数学领域中的概念,指的是某些操作或函数能够被执行多次,但每次得到的结果都是不变的。
比如在乘法运算中,让数字乘以 1 就是一个幂等操作,因为不管你执行多少次这样的运算,结果都是相同的。
再比如,取整函数(floor 和 ceiling)是幂等函数,那么运行 1 次 floor(3.4) 和 100 次 floor(3.4),结果是一样的,都是 3。
相反地,让一个数加 1 这个操作就不是幂等的,因为执行一次和执行多次的结果必然不同。
在计算机领域中,幂等性的含义稍微有一些不同:
在命令式编程语言(比如 C)中,若一个子程序是幂等的,那它必然不能修改系统状态。
这样不管运行这个子程序多少次,与该子程序关联的那部分系统状态保持不变。
在函数式编程语言(比如 Scala 或 Haskell)中,很多纯函数(pure function)天然就是幂等的,它们不执行任何的 副作用(side effect)。
幂等性有很多好处,其最大的优势在于我们可以安全地重试任何幂等性操作,反正它们也不会破坏我们的系统状态。
如果是非幂等性操作,我们还需要担心某些操作执行多次对状态的影响,但对于幂等性操作而言,我们根本无需担心此事。
在 Kafka 中,Producer 默认不是幂等性的,但我们可以创建幂等性 Producer。
它其实是 0.11.0.0 版本引入的新功能。
在此之前,Kafka 向分区发送数据时,可能会出现同一条消息被发送了多次,导致消息重复的情况。
在 0.11 之后,指定 Producer 幂等性的方法很简单,仅需要设置一个参数即可,即
props.put(“enable.idempotence”, ture);
// 或者
props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, true);
enable.idempotence 被设置成 true 后,Producer 自动升级成幂等性 Producer,其他所有的代码逻辑都不需要改变。
Kafka 自动帮你做消息的重复去重。
底层具体的原理很简单,就是经典的用空间去换时间的优化思路,即在 Broker 端多保存一些字段。
当 Producer 发送了具有相同字段值的消息后,Broker 能够自动知晓这些消息已经重复了,于是可以在后台默默地把它们“丢弃。
cs