是因为写mr有3种方法：1、main方法里面直接写。2、用ToolRunnr加上Configured。3、使用任务工作链。
有这么多的方式所以团队开发不统一，那为了统一mr编写规则，所以在定义了BaseMR并且里面定义了抽象方法
public abstract Job getJob(Configuration conf)
可以在里面调用Job job = Job.getInstance(conf,getJobNameWithTaskID()); 生成任务的Job

当然如果你想自由不规范你可以在任意地方，比如main方法中调用Job job = Job.getInstance(conf,getJobNameWithTaskID())；生成你的Job。但是别人也像你一样随机3选1，那你们团队以后看彼此代码的时候是不是心里都在骂娘。

@羽翔 可能苏老师隐藏了一些骚操作，以后和老师的POM保持一致就行了，可以管苏老师要一下他的POM

你的POM里面有这个配置吗？

<dependency>
    <groupId>commons-dbutils</groupId>
    <artifactId>commons-dbutils</artifactId>
    <version>1.7</version>
</dependency>

存算分离我认为主要是成本问题，可以使用廉价的机器做存储，性能好的机器做运行，比如百度云盘就是使用的arm服务器当存储，这样散热成本和电费成本就可以变得很底。缺点数据运算都得走网络不利于运算过程中的数据本地化策略。

有几个reduce就有几个partition，放到那个partition中根据key的hashCode % numReduceTask去算的。一个任务跑起来那reduce的任务数就固定下来了，所以partition的数量就固定下来了，并不会因为数据变多动态调整partition。

去学校集群上去测试一下。

@羽翔 :+1:

@123456789987654321 可以可以

应该把自己遇到的问题也做一下总结

1.确定你的winutils安装成功，尝试一下windows伪集群是否能正常启动
2.保证eclipse管理员模式运行

@leeston9 我帮你整理了一下帖子格式，markdown语法之间用换行分割就好了。

@leeston9

这一步不用写mr，可以使用notepad++列编辑功能直接提取最后一列，不是啥都要写代码，咋快咋来。

打赏10元，理由：爱思考有创新。

可能电脑太慢了，虚拟机有点卡，journalnode启动没跟上节奏

@忘尘 恭喜获得10元打赏，理由：自主发现项目优化点。

@LUNLI :sweat_smile: