2024年3月28日发(作者：)

Hadoop1.x与Hadoop2.x的区别

1、变更介绍

Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的

变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：

l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展

能力和可用性；

l MapReduce将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监

控），拆分成两个独立的组件，并更名为YARN（Yet Another Resource Negotiator）。

1.1、HDFS的变化 - 增强了NameNode的水平扩展及可用性

1.1.1、Hadoop的1.X架构的介绍

而在1.x中的NameNodes只可能有一个，虽然可以通过SecondaryNameNode

与NameNode进行数据同步备份，但是总会存在一定的时延，如果NameNode挂掉，

但是如果有部份数据还没有同步到SecondaryNameNode上，还是可能会存在着数据丢

失的问题。

架构如下：

包含两层：

Namespace

l 包含目录、文件以及块的信息

l 支持对Namespace相关文件系统的操作，如增加、删除、修改以及文件和目录的

展示

Block Storage Service包含两部份

l 块管理（在Namenode中实现的）

提供数据节点群集成员的登记，并定期通过心跳进行检查。