海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册
创始人

青牛

第 12 位会员

449 关注者
2251 评论
308 话题

  • WeChat
  • Website
  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(2251)
  • Mac 系统下使用 SecureCRT 连接 Linux 虚拟机,提示 connection refused?

    另外检查一下自己的linux防火墙关了没,可以用telnet命令(telnet IP地址 22)验证一下,从你的主机到虚拟机的22端口通不通

  • Mac 系统下使用 SecureCRT 连接 Linux 虚拟机,提示 connection refused?

    我用的是这个版本的

    file
    其它操作和windows一样啊

  • hive 二级分区,新增子分区怎么操作

    你试一试分区名字不用中文的

  • hive 的动态分区和静态分区的区别?

    静态分区需要指定子路径。严格模式可以join吧,不能join那不就是自残模式了吗,只是限制不带分区的查询,order by不带limit,不能有笛卡尔集查询。

  • oozie 启动失败,求问原因?

    你mysql没连接上,先尝试一下oozie用户能不能登录mysql

  • 如何建立一个健康的集群

    一看就是过来人

  • 究竟是谁从中作梗拆散了我的 hadoop 和 Web50070???

    想破此案需要找到作案人的蛛丝马迹,哥你倒是贴一个namenode的日志啊。

  • 请问一下 我用 hive 的时候创建表然后 insert 一条数据报以下的错,但是 load table 没问题。。这应该是哪个连接没配置好呢?

    你的HDFS服务是好使的,8032访问不了,应该是你的YARN服务不好使

  • 请问一下,基类 BaseMR 里边为什么要用 abstract 的 getJob 而不直接调用 getInstance 呢?

    @LUNLI 每个任务得到自己的,每个任务的getJobNameWithTaskID是不一样的

  • 如何解决 在 mapreduce 程序进行优化的时候,使用了 snappy 和 gz 压缩格式 运行报错缺失压缩类?

    还是winutils的事,你装好了吗?另外eclipse用管理员启动。

  • 请问一下,基类 BaseMR 里边为什么要用 abstract 的 getJob 而不直接调用 getInstance 呢?

    是因为写mr有3种方法:1、main方法里面直接写。2、用ToolRunnr加上Configured。3、使用任务工作链。
    有这么多的方式所以团队开发不统一,那为了统一mr编写规则,所以在定义了BaseMR并且里面定义了抽象方法
    public abstract Job getJob(Configuration conf)
    可以在里面调用Job job = Job.getInstance(conf,getJobNameWithTaskID()); 生成任务的Job

    当然如果你想自由不规范你可以在任意地方,比如main方法中调用Job job = Job.getInstance(conf,getJobNameWithTaskID());生成你的Job。但是别人也像你一样随机3选1,那你们团队以后看彼此代码的时候是不是心里都在骂娘。

  • eclipse 添加 dbutils 依赖的时候 搜索不到对应的结果?

    @羽翔 可能苏老师隐藏了一些骚操作,以后和老师的POM保持一致就行了,可以管苏老师要一下他的POM

  • eclipse 添加 dbutils 依赖的时候 搜索不到对应的结果?

    你的POM里面有这个配置吗?

    <dependency>
        <groupId>commons-dbutils</groupId>
        <artifactId>commons-dbutils</artifactId>
        <version>1.7</version>
    </dependency>
  • 为什么说现在 大数据平台 存算分离 是一种更好的方案?

    存算分离我认为主要是成本问题,可以使用廉价的机器做存储,性能好的机器做运行,比如百度云盘就是使用的arm服务器当存储,这样散热成本和电费成本就可以变得很底。缺点数据运算都得走网络不利于运算过程中的数据本地化策略。

  • MR 的 shuffle 阶段 是如何确认 数据相应的分区的?

    有几个reduce就有几个partition,放到那个partition中根据key的hashCode % numReduceTask去算的。一个任务跑起来那reduce的任务数就固定下来了,所以partition的数量就固定下来了,并不会因为数据变多动态调整partition。

  • «
  • 1
  • 2
  • ...
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • ...
  • 145
  • 146
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2