云服务器 Spark-Submit 后报 NoClassDefFoundError 请问怎么解决?

问答 十年 ⋅ 于 2018-12-28 16:07:48 ⋅ 最后回复由 青牛 2018-12-28 18:04:34 ⋅ 1989 阅读

最近遇到一个spark-submit提交jar包,报java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hdfs.server.namenode.NameNode的错误,我最开始使用eclipse将spark代码打普通Jar File包之后,上传到云服务器集群,之后换成Runnable Jar File也还是不行。后来我换成IDEA创建Maven项目,打包之后,还是不行。但是在本地集群进行测试的时候,同样的包,在本地集群可以运行,在云服务器运行就报找不到类的错。请问这个问题该怎么解决呢?提前感谢!

PS:云服务器集群搭建在一台阿里云服务器上,8核16g内存,布置了单节点集群,在本地用三台4核8G内存的电脑搭建的分布式集群,两个集群的文件位置一模一样。

成为第一个点赞的人吧 :bowtie:
回复数量: 1
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-12-28 18:04:34

    服务器的环境变量没有spark包把

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter