海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册

tonly

第 2479 位会员

0 关注者
9 评论
1 话题

  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(9)
  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    测试一下,主机通过IDEA在tomcat运行项目,虚拟机通过hostname+8080是可以正常访问的。不知道为什么spark的有问题

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    虚拟机网络是NAT连接,设置了spark.driver.host,driver地址确实改变了。但是问题还是没有变化,点击进去查看任务详情,很多资源找不到,就像是第三张图那样。本地也配置了Spark,cmd中也可以调用spark命令。感觉像是本地问题,但是本地也配置了SPARK_HOME。访问本地4040端口,就会出现下面的问题,请教一下这个怎么解决?不管怎么样,都非常感谢您这几天的持续解答":+1: "

    file

    file

    file

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @青牛 虚拟机配置了笔记本的host了,也可以ping。但还是一样的问题。请问--driver-url这个参数在哪设置?spark-env.sh和spark-default.conf中没有找到这个的配置项,spark-class中也没有

  • 信息被删除或无权限查看
  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @青牛 恩,应该是Driver调度这块的问题。cluster模式的话,Driver就会在集群中,这个我一会试试行不行。client模式的话,该怎么解决呢?希望指点一下,谢谢

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @青牛 用了生产服务器,内存充足的,还是不可以。

    file

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @青牛 笔记本电脑的上的虚拟机,每台都是1核1G,Spark集群内存也调小了,也没用

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @青牛
    master
    file

    work
    file

  • 本地 Java 程序提交任务到 spark 集群无法执行,也没有报错,这是为什么?

    @青牛 我是参考网上的,只设置了spark的Master地址,还有就是把hdfs-site.xml和core-site.xml也放到项目里面了。请问本地还有什么需要配置呢?谢谢

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2