会啊 看你怎么配置了
数据传输的事务定义通常有以下三种级别:
最多一次: 消息不会被重复发送,最多被传输一次,但也有可能一次不传输。
最少一次: 消息不会被漏发送,最少被传输一次,但也有可能被重复传输.
精确的一次(Exactly once): 不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一次,这是大家所期望的。
kafka的
“精确一次”是这么做的,可以通过将提交分为两个阶段来解决:保存了offset后提交一次,消息处理成功之后再提交一次。但是还有个更简单的做法:将消息的offset和消息被处理后的结果保存在一起。比如用Hadoop ETL处理消息时,将处理后的结果和offset同时保存在HDFS中,这样就能保证消息和offser同时被处理了。
- kafka connect 做 ETL,会造成数据丢失或重复吗?如果是的话,该怎么解决?
- java 里面,'\24'表示什么意思?求大佬解答?
- 用 zookpeer 的时候出现了这种情况怎么解决?
- 从 BI 数据仓库转做大数据中数据仓库需要学那些东西?还需要写 java 吗?
- JVM 中的这些宏怎么理解?
- Java 的一个问题,关于子类对象调用父类的返回值为 this 的方法,this 指向问题?
- 一个对象不再使用,有必要手动置为 null 吗?
- java list 如何乱序?
- o 域集群,传统 boss 数据集群,不同集群的数据怎么拉通?还是说就放一个集群,但这样会不会造成资源紧张?
- 怎么修改 hbase-env.sh 为只读的权限,我想改写它,可以吗?
- Flink 的反压与 Spark 相比有什么差别?
- 分布式系统中的一致性 hash 为什么叫一致性 hash?
- zookeeper+dubbo+spring 如何实现断线重连?
- python 怎么读取 class 中_xxxx 的属性?
- Java 的注解 和 Python 的装饰器 是一回事吗?