hdfs 下

分享 123456789987654321 ⋅ 于 2020-07-18 14:15:38 ⋅ 183 阅读

hdfs命令

hdfs创建目录

hadoop fs -mkdir /input/
hadoop fs -mkdir -p /input/

展示命令

#展示命令
hadoop fs -ls / 
#递归展示
[hadoop@nn1 ~]$ hadoop fs -ls -R /
#文件大小显示为最大单位
hadoop fs -ls -h /  
#递归打印并且最大单位打印文件
hadoop fs -ls -h -R /   

上传

put文件上传

#put         左面:是本地,            右面是hdfs集群
hadoop fs -put /home/hadoop/test.txt /
#-f 如果同名文件已存在,则替换hdfs里面的文件
hadoop fs -put -f /home/hadoop/test.txt /
#一次上传多个文件到HDFS路径
hadoop fs -put f1 f2 /data  
#上传并重命名目录
hadoop fs -put mypkg /newpkg   

#注意
hadoop fs -put ./f* /usr/mmm/testfile #不加/穿的是testfile文件

hadoop fs -put ./f* /usr/mmm/testfile/#加/代表传到testile目录下

copyFromLocal文件上传

#上传文件并重命名
hadoop fs -copyFromLocal file:/test.txt hdfs:/test2.txt
#覆盖上传
hadoop fs -copyFromLocal -f test.txt /test.txt

下载

文件下载get

#拷贝文件到本地目录
hadoop fs -get /usr/mmm/testfile/f* ./  #usr前面没有指定,默认为hdfs下

文件下载copyToLocal

hadoop fs -copyToLocal hdfs:/test.txt file:/home/hadoop/

拷贝文件/目录 cp

#从本地拷贝文件(和上传一样)
hadoop fs -cp file:/home/hadoop/test/f2 /test_f2
#从hdfs拷贝
hadoop fs -cp hdfs:/usr/mmm hdfs:/test 

移动文件 mv

# 标准写法
hadoop fs -mv hdfs:/test.txt hdfs:/dir/test.txt
# 简写方案
hadoop fs -mv /test_f2 /test

删除文件/目录 rm

#执行-rm 命令后,默认是把文件移动到 /user/hadoop/.Trash/Current 下
#删除文件
hadoop fs -rm /a.txt
#删除全部txt文件
hadoop fs -rm /*.txt
#跳过回收站永久删除
hadoop fs -rm -r -skipTrash  /dir
# hdfs的递归删除文件和目录
hadoop fs -rm -r /dir/

文件读取

读取文件 cat

#在线看文件 不下载
hadoop fs -cat /test.txt

读取文件尾部 tail

hadoop fs -tail /test.txt 

创建空文件 touchz

hadoop fs - touchz /newfile.txt

写入文件 appendToFile

#读取本地文件内容追加到HDFS文件 
hadoop fs -appendToFile file:/test.txt hdfs:/newfile.txt   
#注意只能读取本地的内容追加到hdfs

创建目录 mkdir

#可以同时创建多个目录
hadoop fs -mkdir /newdir /newdir2    #创建两个平级文件夹
#同时创建父级目录
hadoop fs -mkdir -p /newpkg/newpkg2/newpkg3 #递归创建文件夹

改变文件副本数 setrep

hadoop fs -setrep -R -w 2 /test.txt
-R 递归改变目录下所有文件的副本数。
-w 等待副本数调整完毕后返回。可理解为加了这个参数就是阻塞式的了

#如果想修改块大小,修改配置hdfs-site.xml dfs.blocksize 属性

获取逻辑空间文件/目录大小 du

#显示HDFS根目录中各文件和文件夹大小
hadoop fs -du / 
#以最大单位显示HDFS根目录中各文件和文件夹大小
hadoop fs -du -h / 
#仅显示HDFS根目录大小。即各文件和文件夹大小之和
hadoop fs -du -s /

获取HDFS目录的物理空间信息 count

hadoop fs -count / #显示HDFS根目录在物理空间的信息

查询结果:
第一个数值表示/下的目录的个数(包括其本身);
第二个数值表是当前目录下文件的个数;
第三个数值表示该目录下文件所占的空间大小,这个大小是不计算副本的个数的。

管理工具 hdfs dfsadmin

#查看文件系统的基本信息和统计信息。
hdfs dfsadmin -report
#打开安全模式  外部不能读写,集群默认safemode是关闭状态   enter是进入,leave是离开。
hdfs dfsadmin -safemode enter
#关闭安全模式
hdfs dfsadmin -safemode leave
#获取安全模式信息
hdfs dfsadmin -safemode get

集群开启步骤

启动一个完整的集群
#启动完整集群的步骤
#第一步:启动zookeeper
./ssh_all_zookeeper.sh /usr/local/zookeeper/bin/zkServer.sh start
#第二步:在nn1上启动所有
start-all.sh
#第三步:在nn1上启动yarn日志代理服务
yarn-daemon.sh start proxyserver
#第四步:在nn1上启动MR的jobhistory服务
mr-jobhistory-daemon.sh start historyserver
#第五步:在nn2上启动resourcemanager,用于启动yarn的HA
yarn-daemon.sh start resourcemanager
版权声明:原创作品,允许转载,转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海牛部落-123456789987654321,http://hainiubl.com/topics/75220
回复数量: 0
    暂无评论~~
    • 请注意单词拼写,以及中英文排版,参考此页
    • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
    • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
    • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
    • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
    Ctrl+Enter