kafka 重复消费 kafka重复消费问题根因

一条消息怎么被两个消费者消费

如何保证消息不被拆分多个queue，每个queue一个consumer，就是多一些queue而已，确实是麻烦点；或者就一个queue但是对应一个consumer，然后这个consumer内部用内存队列做排队，然后分发给底层不同的worker来处理重复消费，或者说如何保证消息幂等性。

kafka 重复消费 kafka重复消费问题根因

kafka 重复消费 kafka重复消费问题根因

rbbitmq,rocketmq,kafka,都有可能出现消息重复消费的情况，以kafka来说

如果遇到意外情况消费的时候，只会从leader去读，但是只有当消息已经被所有follower都同步成功返回ack的时候，这个消息才会被消费者读到。，还没来得及提交offset，进程就掉了，重启之后，可能有些消息要重复消费一次。

kafka重复消费的问题

Commit cannot be completed since the group has alreakafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表的消息的序号，然后consumer消费了数据之后，每隔一段时间（定期定时），会把自己消费过的offset提交一下，表示“我已经消费过了，下次重启之后，还是从上次消费到的offset来继续消费。dy rebalanced and assigned the partitions to another member. This means that the time between subsequent calls to poll() was longer than the configured session.timeout.ms, which typically implies that the poll loop is spending too much time message processing. You can address this either by increasing the session timeout or by reducing the maximum size of batches returned in poll() with max.poll.records.

mq如何保证高可用，解决重复消费、数据丢失问题和顺序性问题

rabbitmq有三种模式： 单机模式，普通集群模式，镜像集群模式

kafka架构：多个broker组成，每个broker是一个；创建一个topic，这个topic可以划分为多个partition，每个partition可以存在于不同的broker上，每个partition就放一部分数据。

它是一个分布式消息队列，就是说一个topic的怎么保证消息队列消费的幂等性：数据，是分散放在多个机器上的，每个机器就放一部分数据。

kafka 0.8以后，提供了HA机制，就是replica副本机制。每个partition的数据都会同步到吉他机器上，形成自己的多个replica副本。然后所有replica会选举一个leader出来，那么生产和消费都跟这个leader打交道，然后其他replica就是follower。写的时候，leader会负责把数据同步到所有follower上去，读的时候就直接读leader上数据即可。kafka会均匀的将一个partition的所有replica分布在不同的机器上，从而提高容错性。

如果某个broker宕机了也没事，它上面的partition在其他机器上都有副本的，如果这上面有某个partition的leader，那么此时会重新选举一个新的leader出来，大家继续读写那个新的leader即可。这就有所谓的高可用性了。

kafka重复消费的情况：

kafka有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后consumer消费了数据之后，写入一个partition中的数据一定是有序的，生产者在写的时候 ，可以指定一个key，比如指定订单id作为key，这个订单相关数据一定会被分发到一个partition中去。消费者从partition中取出数据的时候也一定是有序的，把每个数据放入对应的一个内存队列，一个partition中有几条相关数据就用几个内存队列，消费者开启多个线程，每个线程处理一个内存队列。每隔一段时间，会把自己消费过的消息的offset提交一下，下次重启时，从上次消费到的offset来继续消费。但是offset没来得及提交就重启，这部分会再次消费一次。

丢数据，mq一般分为两种，要么是mq自己弄丢了，要么是我们消费的时候弄丢了

Kafka 技术汇总

Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里kafka 0.8以前，是没有HA机制的，就是任何一个broker宕机了，那个broker上的partition就废了，没法写也没法读，没有什么高可用性可言。写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理写数据的时候，生产者就写leader，然后leader将数据落地写本地磁盘，接着其他follower自己主动从leader来pull数据。一旦所有follower同步好数据了，就会发送ack给leader，leader收到所有follower的ack之后，就会返回写成功的消息给生产者。的作用。