6.伪集群搭建

教程 阿布都的都 ⋅ 于 2023-01-06 18:03:11 ⋅ 416 阅读

1 hadoop的windows伪分布式环境部署

1.1 需要的软件

file

winutils-master:windows模拟linux 环境

hadoop-2.7.3.tar.gz:hadoop编译后的包

hadoop_conf.tar:hadoop的配置

hadoop_windows.zip:windows的hadoop配置

1.2 前提:需要修改通知级别

win10

file

1.3 压缩文件解压顺序及方法

1) 解压hadoop-2.7.3.tar.gz,到C盘的某个目录下;

2) 解压winutils-master.zip,将解压的hadoop-2.7.1/bin文件夹内的内容拷贝到hadoop-2.7.3\bin目录下,

注意,千万别覆盖bin目录下的其他文件;

3) 解压hadoop_conf.tar, 然后将解压的hadoop文件夹内的内容替换到hadoop-2.7.3\etc\hadoop目录下;

4) 解压hadoop-window.zip,然后将解压的hadoop文件夹内的内容做修改后,替换到hadoop-2.7.3\etc\hadoop;

1.4 在WINDOWS上配置环境变量

1)HADOOP_HOME

file

2)把hadoop的bin和sbin配置到path环境变量里

;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin

file

1.5 设置hadoop配置文件

core-site.xml

file

hdfs-site.xml

file

maprd-site.xml

file

yarn-site.xml

file

hadoop-env.cmd

file

把修改好的配置文件覆盖hadoop-2.7.3\etc\hadoop目录

file

1.6 测试hadoop命令

win10支持Linux命令的工具:windows powershell 工具

打开cmd输入set查看设置的环境变成是否生效

file

输入hadoop version查看hadoop的版本

file

1.7 格式化namenode

hadoop namenode -format

file

1.8 启动hdfs

start-dfs.cmd 之后弹出两个窗口

namenode

file

datanode

file

当报这个错误的时候,是因为要找nn2.hadoop

file

之后在电脑上的c盘就能看到tmp目录,里面有namenode文件和datanode文件

启动成功之后就可以查看hdfs的web页面

file

1.9 启动yarn

start-yarn.cmd之后弹出两个窗口

resourceManager

file

nodeManager

file

查看yarn的web界面

file

1.10 测试hdfs是否好用

file

1.11 开启和关闭

start-all.cmd开启hadoop

stop-all.cmd关闭hadoop

注意:

​ 我们搭建伪集群的目的,是为后面开发程序做准备,不需要启动,搭建完即可。

版权声明:原创作品,允许转载,转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海汼部落-阿布都的都,http://hainiubl.com/topics/76043
成为第一个点赞的人吧 :bowtie:
回复数量: 0
    暂无评论~~
    • 请注意单词拼写,以及中英文排版,参考此页
    • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
    • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
    • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
    • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
    Ctrl+Enter