Windows idea 平台下 spark standalone 模式 开发环境?

问答 漂泊 ⋅ 于 2019-06-19 08:39:12 ⋅ 最后回复由 青牛 2019-06-20 15:58:33 ⋅ 2418 阅读

我虚拟机就用一台机器,里面有一个master,两个worker 进程。standalone 模式在linux 下测试有效。
虚拟机主机名:hadoop1
windows下也做了hosts映射。
但idea,老是出现以下错误:file

成为第一个点赞的人吧 :bowtie:
回复数量: 3
  • 青牛 海汼部落创始人,80后程序员一枚,曾就职于金山,喜欢倒腾技术做产品
    2019-06-19 08:56:34

    这不是错误 是一个警告而已 可以忽略

  • 漂泊
    2019-06-19 21:35:42

    @青牛 青牛,您好。这个警告会永远下去,任务执行不了。我觉得还是开发环境配置的问题。

    windows的spark-defaults.conf配置如下:

    spark.master spark://hadoop1:7077
    spark.driver.host 192.168.1.111
    spark.driver.memory 512m
    spark.executor.instances 2

    windowns的spark-env.sh配置如下:

    export SPARK_DAEMON_MEMORY=512M
    export SPARK_MASTER_HOST=hadoop1
    export SPARK_MASTER_PORT=7077
    export SPARK_WORKER_CORES=1
    export SPARK_EXECUTOR_MEMORY=512M
    export SPARK_CORES_MAX=3
    export SPARK_CLASSPATH=D:\spark\jars;D:\hadoop-2.7.4\share\hadoop\hdfs*;D:\hadoop-2.7.4\share\hadoop\common*

    windows的slaves配置如下:

    hadoop1

    linux的进程如下:

    [hadoop@hadoop1 ~]$ jps
    4661 Worker
    4537 Master
    4617 Worker
    6558 Jps

    青年老师,你那边能整个,scala语言与python 语言,分别以standalone 与yarn 模式的windows下idea开发环境出来吗?

  • 青牛 海汼部落创始人,80后程序员一枚,曾就职于金山,喜欢倒腾技术做产品
    2019-06-20 15:58:33

    @漂泊 你这个应该是没有资源跑任务吧,你开发spark直接在idea上用local模式就可以

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter