HDFS Hadoop Distributed File System 分布式文件存储
1.主从式架构
2.存储数据时,没有物理上线
注意:
HDFS集群 不适合存储大量的小文件
HDFS集群 存储的文件 使用一次写入多次操作场景
NameNode集群中主节点(内存)
1.维护了树状目录结构
2.记录了文件的基本信息
3.存储了块数据与DataNode对应关系
DataNode硬盘
1.块形式存储数据 128M
2.副本3个机架感知
3.校验
FSImage 某一时刻前的数据镜像 格式化 后续符合条件重新启动
EditsLog 某一时刻后的写日志
60分钟或者10万事务数满足时SecondaryNameNode会进行FSImage,EditsLog的合并。