System.load("fullPathTo/opencv.so");

redis你可以理解为一个map

读集群是什么意思？读集群的数据的话可以随便配置一个集群节点 会自动发现集群里面的其他节点的

贴一下报错信息把

@ruiqi 2t 这个数据量的话 还是hdfs比较好 可以考虑把一定量的小数据压缩为一个文件

看一下FastDFS

大内存运行小job容易碎片化 小内存运行大job文件交换太多 所以抛弃场景光谈资源配置没啥意义 没有最好的 只有最适合的

会的 所以一般采用zk保存check point的方式

@Xibaibai 可以是读 没毛病 是一台机器上的多个节点部署 还是多台机器部署的 没有具体描述的问题就像“我想知道咋赚钱”一样难回答

I/O is overloaded 一般是磁盘写队列负载太高了 要看是什么进程 什么节点的写操作量太大 一般的解决思路是先找进程 再找代码

缺少jar包把
bytedeco.javacpp-presets" % "opencv" % ("2.4.9-" + javacppVersion) classifier "",
"org.bytedeco.javacpp-presets" % "opencv" % ("2.4.9-" + javacppVersion) classifier "linux-x86_64",
"org.bytedeco" % "javacpp" % javacppVersion ,
"net.imagej" % "ij" % "1.49d"
这些包都有吗

1、分布式环境下 flume不提供多点排序功能
2、flume所在的kafka集群能接收到数据 说明flume端应该没问题
sources.selector.type=replicating 好像少这个参数配置吧 将同样的数据无差异sink到多个输出端，所以通道是复制模式

一般是这样处理
javaDstream.foreachRDD(new VoidFunction<JavaRDD>() {
public void call(JavaRDD o) throws Exception {
System.out.println("自定义的处理逻辑");
}
});

转不了，dstream里面包含了rdd，只能通过dstream的foreachRDD方法访问rdd

Windows的问题很多都是权限问题不是代码问题 建议你在linux系统上调试一下

spark-jobserver提供了一个用于提交和管理Apache Spark作业(job)、jar文件和作业上下文（SparkContext）的RESTful接口,
是一个与spark项目本地独立的额外的项目，你可以理解为很多spark的管理和配置都可以用api的方式进行使用

@东兴 怎么复制的？修改了什么？

TeraSort的输出是正确的吗

hive.server2.authentication=CUSTOM

hive配置中增加hive.server2.authentication = NOSASL
建立Connection(host="myserver", auth='NOSASL')