flume 收集的数据是否有序?

问答 韦晓阳 ⋅ 于 2018-10-30 18:32:33 ⋅ 最后回复由 韦晓阳 2018-10-31 14:10:21 ⋅ 2952 阅读

flume单实例和集群收集的数据是否有序?flume往两个kafka丢数据,怎么flume所在的kafka集群能接收到数据,另一个kafka集群接收不到数据,,,都是内网,网段都一样,,,是不是ssh的原因啊?

flume.conf

a1表示代理名称

a1.sources = s1
a1.channels = c1 c2
a1.sinks = k1 k2

设置sources

a1.sources.s1.type = netcat
a1.sources.s1.bind =172.8.10.143
a1.sources.s1.port = 1555
a1.sources.s1.channels = c1 c2

设置c1

a1.sinks.k1.channel = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100

设置c2

a1.sinks.k2.channel = c2
a1.channels.c2.type = memory
a1.channels.c2.capacity = 10000
a1.channels.c2.transactionCapacity = 100

设置s1

a1.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.brokerList=172.8.10.140:6667
a1.sinks.k1.topic=kafkatest
a1.sinks.k1.serializer.class=kafka.serializer.StringEncoder

设置s2

a1.sinks.k2.type= org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k2.brokerList=172.8.10.143:6667
a1.sinks.k2.topic=kafkatest
a1.sinks.k2.serializer.class=kafka.serializer.StringEncoder

成为第一个点赞的人吧 :bowtie:
回复数量: 2
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-10-31 11:19:42

    1、分布式环境下 flume不提供多点排序功能
    2、flume所在的kafka集群能接收到数据 说明flume端应该没问题
    sources.selector.type=replicating 好像少这个参数配置吧 将同样的数据无差异sink到多个输出端,所以通道是复制模式

  • 韦晓阳
    2018-10-31 14:10:21

    @青牛 flume单实例(伪分布式)情况下数据有序吗?

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter