hdfs 总结

1. hdfs概述
2. hdfs常用命令与API
3. hdfs原理
4. hdfs 实际应用HA以及原理

一、hdfs概述

1. hdfs概念：hdfs是一个分布式文件系统，为存储和计算大规模数据提供可需的扩展能力
2. hdfs特点：
   （1）master-slave架构：一个namenode主节点 master 多个datanode从节点slave
   （2）层次性文件结构：和传统的文件系统类似，提供层次性的目录结构。文件目录结构的元数据保存在namenode上
   （3）block分块存储：文件存储时候是以block形式分块存储，默认128M
   （4）副本机制：默认3个副本
   （5）支持一次写入多次读出，不支持随时修改
3. hdfs架构：
   client 客户端：
   (1) 负责切分文件
   (2）负责与namenode交互获得元数据信息
   (3）与DataNode交互获取文件信息或存入文件
   (4) 通过命令行管理目录
   Namenode：
   (1) 负责管理元数据
   (2) 与client交互，返回文件所在位置信息
   (3) 接收DataNode汇报的节点信息
   DataNode:
   (1) 负责实际存储文件信息
   (2) 按块存储

二、hdfs使用

1.hdfs 常用命令行
查看类：
hdfs dfs -ls / 查看某个目录下文件
hdfs dfs -cat /a.txt 查看某个文件内容
hdfs dfs -tail /a.txt 显示一个文件的末尾
移动：
hdfs dfs -put/-copyFromLocal a.txt /目录 把本地文件上传到hdfs文件系统
hdfs dfs -get/-copyToLocal 远程文件 本地目录 把远程文件下
hdfs dfs mv /a.txt / hdfs 中移动文件
hdfs dfs -moveFromLocal 从本地剪切到hdfs系统
hdfs dfs -appendToFile ./hadoop.txt /lagou/bigdata 追加一个文件到一个文件末尾
删除类：
hdfs dfs -rm -r -f 删除
权限类：
hdfs dfs -chgrp /-chmod (改权限)/ -chown（改用户组）
统计类：
hdfs dfs -du -a -h xxx/txt 统计文件夹大小
文件夹管理：
hdfs dfs -mkdir /
hdfs dfs -rmdir 删除空目录
管理类：
查看安全模式：
hdfs dfsadmin -safemode
格式化：
hadoop namenode -format
设置文件副本数量：
hdfs dfs -settrep
2.Java API
三、hdfs 原理
1.hdfs 读数据流程
2.hdfs写数据流程
3.hdfs元数据管理（目录）
4.hdfs的限额归档
5.hdfs的安全模式