Hadoop默认map数是2,块大小128M,当文件 为 512M是会有几个map,有几个map并行?
Hadoop默认map数是2,块大小128M,当文件 为 512M是会有几个map,有几个map并行?
map的数目是由splitsize 决定的不是由块大小决定的 splitsize= Math.max(minSize, Math.min(goalSize, blockSize)),通常这个值=blockSize,输入的文件较小,文件字节数之和小于blocksize时,splitsize=输入文件字节数之和
算出来splitsize以后再根据规则计算出map数 如果你指定的是splitsize=blocksize 那就是4个了