Hadoop学习笔记(2)

Rate this post

      HDFS体系结构

      HDFS和MapReduce是Hadoop的两大核心。而实际上Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持的,并且它会通过MapReduce来实现对分布式并行任务处理的程序支持。

如图所示:
HDFS结构体系图
HDFS的体系结构,采用主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作。集群中的DataNode管理存储的数据。当文件进行存储时,文件会被分割成若干个数据块,并且这些数据块会被存放再集群中的各个DataNode节点上。NameNode执行文件系统的命名空间操作,比如打开、关闭、重命名文件或目录等,负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写请求,并在NameNode的同意调度下进行数据块的建立、删除和复制工作。NameNode和DataNode都被设计成可以在普通计算机上运行。NameNode是所有HDFS元数据的管理者,用户数据永远都不会存储到NameNode上。

MapReduce体系结构

      MapReduce是一种并行编程模式,这种模式使得软件开发者可以轻松地编写分布式并行程序。在Hadoop的体系结构中,MapReduce是一个简单易用的软件框架,基于它可以将任务分发到上千台商用机器组成的集群上,并以一种高容错的方式并行处理大量的数据集,实现Hadoop的并行任务处理功能。

MapReduce框架,主要是由一个单独运行在主节点上的JobTracker进程和运行在每个集群节点的TaskTracker进程共同组成的。主节点JobTracker进程负责调度构成一个作业的所有任务,这些任务分布在不同的从节点TaskTraker上;主节点通过心跳机制(心跳,主从节点的通信时间间隔)监控它们的执行情况,并且重新执行之前失败的任务;从节点仅负责由主节点指派的任务。当一个Job被Client提交时,JobTasker接受到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。

     MapReduce体系结构图:
MapReduce体系结构图
小结:HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心,HDFS在集群上实现了分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等操作,收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。