海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册

sourtanghc

第 3346 位会员

0 关注者
8 评论
1 话题

  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(8)
  • spark-shell 执行 hc.sql ("load data inpath '/tmp/tags' overwrite into table tags") 出错,怎么解决?

    @青牛 老师,hive-site.xml是这样的,我该怎么配置啊,试了好多博客了,我的环境是zookeper+hive1.2.1+spark2.1.0+hadoop2.7.3

    file

  • spark-shell 执行 hc.sql ("load data inpath '/tmp/tags' overwrite into table tags") 出错,怎么解决?

    @青牛 加了,现在是这个错:
    java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/user/root/tmp/links/part-00000-6d815b22-729c-451d-827f-139f1c0caba3.snappy.parquet, expected: file:///

    file

  • spark-shell 执行 hc.sql ("load data inpath '/tmp/tags' overwrite into table tags") 出错,怎么解决?

    @青牛
    是我的hive集群没有搭建好还是什么原因嘛?
    hive是照着这个博客配的
    https://blog.csdn.net/lovebyz/article/details/83346458?from=singlemessage&isappinstalled=0

  • spark-shell 执行 hc.sql ("load data inpath '/tmp/tags' overwrite into table tags") 出错,怎么解决?

    @青牛 不是,是hdfs上的数据,代码如下:

    def main(args:Array[String]){
    val localclusterURL="local[2]"
    val clusterMasterURL="spark://master:7077"
    val conf=new SparkConf().setAppName("ETL").setMaster(clusterMasterURL)
    val sc =new SparkContext(conf)
    val sqlContext=new SQLContext(sc)
    val hc =new HiveContext(sc)
    import sqlContext.implicits._
    
    //设置RDDdepartions的数量一般以集群分配给应用的cpu核数的整数被为宜
    val minPartitions= 8
    //links
    val links = sc.textFile("data/links.txt", minPartitions).filter {!_.endsWith(",")}
    .map(_.split(","))
    .map(x => Links(x(0).trim.toInt, x(1).trim.toInt, x(2).trim().toInt))
    .toDF()
    
    links.write.mode(SaveMode.Overwrite).parquet("/tmp/links");
    hc.sql("drop table if exists links")
    hc.sql("create table if not exists links(movieId int,ImdbId int,tmdbId int ) stored as parquet")
    hc.sql("load data inpath '/tmp/links' overwrite into table links")
  • spark-shell 执行 hc.sql ("load data inpath '/tmp/tags' overwrite into table tags") 出错,怎么解决?

    环境是spark2.1.0,但是我用的是1.x的语法

  • spark-shell 执行 hc.sql ("load data inpath '/tmp/tags' overwrite into table tags") 出错,怎么解决?

    Please help me, I am scraching my head since last week and still no luck.

  • spark-shell 执行 hc.sql ("load data inpath '/tmp/tags' overwrite into table tags") 出错,怎么解决?

    在线等

    file

  • spark-shell 执行 hc.sql ("load data inpath '/tmp/tags' overwrite into table tags") 出错,怎么解决?

    牛牛们,救我

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2