海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册
创始人

青牛

第 12 位会员

449 关注者
2251 评论
308 话题

  • WeChat
  • Website
  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(2251)
  • 信息被删除或无权限查看
  • 在 impala 的 shell 命令窗口中修改表的字段类型,查询数据报错?

    你的表存储的文件是什么格式的?orc?

  • idea 构建 maven+ssm,service 层注入 dao?

    @陌上花开 没看出来啥问题,你把启动时debug日志打开,看看是不是你那个类里有错误对象初始化失败了

  • idea 构建 maven+ssm,service 层注入 dao?

    没注入进去是不是那里配置错了?

  • spark-assembly-版本-Hadoop 版本.jar 找不到,intellij 环境搭建?

    用maven搭建你的项目,加上maven的配置

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.1</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>2.1.1</version>
            <scope>provided</scope>
        </dependency>
  • eclipse 配置 hadoop 时,出现了 java.io.EOFException,请教大神?

    你应该是连接的虚拟机或者服务器吧,那配置的地址为什么设置成localhost?
    另外现在开发一般不成这个插件了,使用winutils会少很多麻烦,eclipse也不用配置插件。运行任务可以直接跑本地文件

  • hadoop map 任务一直不执行也不失败,重跑正常,经常出现?

    一般这种情况是yarn资源不够,或你指定的队列资源不够,比如内存和cpu core

  • spark 连接 impala 错误?

    在.config(conf) 后面加上".enableHiveSupport()"试试

  • 信息被删除或无权限查看
  • 安装 hadoop 发现缺少 CentOS-Base.repo 文件

    @18565025036 哦,那没关系,你就忽略这一步就可以了

  • 安装 hadoop 发现缺少 CentOS-Base.repo 文件

    这得要看你系统上yum的安装目录在那里了。/etc/yum.repos.d 这个是centos的默认目录,你要是用的是ubuntu linux就不会有这个目录。

  • spark 调用 jdbc 连接数据库问题?

    你是不是把"chooserecommend"这个当成字段名传过去了?

  • spark 为什么自动设置查询字段自带双引号,看可以设置吗?

    你是说自动解析成带双引号的?这个不会吧?
    还是说你说自己写的SQL必须带双引号的?

  • Scala 特殊的简写看不懂,内容如下?
    sc.textFile(args(0))   读取这个变量地址指定的文件
    .flatMap(.split(" "))     把文件中每一行按空格分割并转成多行
    .map((, 1))            把上面转成多行中的每一项转换成一组一组的数据,每组数据为自身加1的组合
    .reduceByKey(+)       把每组数据的value值进行累加,也就是把每组数据的所有1进行累加,求出每组key的总数
    .sortBy(_.2, false)    按上一步每组的累加值进行排序

    在scala中如果函数中只有一个变量那可以不写,或者使用匿名变量
    代码里的(, 1) 这个就是逗号前面有个匿名变量
    _.2 这个 就是代表元组的第2个值 可以写成这样的形式f => {f._2} 那这个f和_就是一个意思了

  • spark 中 spark.sql.warehouse.dir 怎么设置成 HDFS 的上的数据,求个格式?

    没明白你要设置成hdfs上的路径吗?还是配置什么东西。
    HDFS上的数据路径就以hdfs开头啊

  • «
  • 1
  • 2
  • ...
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • ...
  • 145
  • 146
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2