当前位置 博文首页 > Shockang的博客:Kafka 的幂等生产者是什么?

    Shockang的博客:Kafka 的幂等生产者是什么?

    作者:[db:作者] 时间:2021-08-13 09:52

    前言

    本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

    本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

    正文

    什么是"幂等"?

    “幂等”这个词原是数学领域中的概念,指的是某些操作或函数能够被执行多次,但每次得到的结果都是不变的

    举例说明

    数学领域

    比如在乘法运算中,让数字乘以 1 就是一个幂等操作,因为不管你执行多少次这样的运算,结果都是相同的。

    再比如,取整函数(floor 和 ceiling)是幂等函数,那么运行 1 次 floor(3.4) 和 100 次 floor(3.4),结果是一样的,都是 3。

    相反地,让一个数加 1 这个操作就不是幂等的,因为执行一次和执行多次的结果必然不同。

    计算机领域

    在计算机领域中,幂等性的含义稍微有一些不同:

    在命令式编程语言(比如 C)中,若一个子程序是幂等的,那它必然不能修改系统状态。

    这样不管运行这个子程序多少次,与该子程序关联的那部分系统状态保持不变。

    在函数式编程语言(比如 Scala 或 Haskell)中,很多纯函数(pure function)天然就是幂等的,它们不执行任何的 副作用(side effect)。

    幂等性有很多好处,其最大的优势在于我们可以安全地重试任何幂等性操作,反正它们也不会破坏我们的系统状态

    如果是非幂等性操作,我们还需要担心某些操作执行多次对状态的影响,但对于幂等性操作而言,我们根本无需担心此事。

    幂等性 Producer

    在 Kafka 中,Producer 默认不是幂等性的,但我们可以创建幂等性 Producer。

    它其实是 0.11.0.0 版本引入的新功能。

    在此之前,Kafka 向分区发送数据时,可能会出现同一条消息被发送了多次,导致消息重复的情况。

    在 0.11 之后,指定 Producer 幂等性的方法很简单,仅需要设置一个参数即可,即

    props.put(“enable.idempotence”, ture);
    // 或者
    props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, true);
    

    enable.idempotence 被设置成 true 后,Producer 自动升级成幂等性 Producer,其他所有的代码逻辑都不需要改变。

    Kafka 自动帮你做消息的重复去重

    实现原理

    底层具体的原理很简单,就是经典的用空间去换时间的优化思路,即在 Broker 端多保存一些字段。

    当 Producer 发送了具有相同字段值的消息后,Broker 能够自动知晓这些消息已经重复了,于是可以在后台默默地把它们“丢弃。

    cs