Hadoop 和 HDFS 概述 -- cnDBA.cn

1 Hadoop

1.1 Hadoop 简介

Hadoop可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点，特别适合写一次，读多次的场景。

适合：
1) 大规模数据
2) 流式数据（写一次，读多次）
3) 商用硬件（一般硬件）

不适合：
1) 低延时的数据访问
2) 大量的小文件
3) 频繁修改文件（基本就是写1次）

1.2 Hadoop 架构

组件说明：
1) HDFS: 分布式文件存储
2) YARN: 分布式资源管理
3) MapReduce: 分布式计算
4) Others: 利用YARN的资源管理功能实现其他的数据处理方式

Hadoop内部各个节点基本都是采用Master-Woker架构。

1.3 Hadoop IO

1) 输入文件从HDFS进行读取.
2) 输出文件会存入本地磁盘.
3) Reducer和Mapper间的网络I/O,从Mapper节点得到Reducer的检索文件.
4) 使用Reducer实例从本地磁盘回读数据.
5) Reducer输出回传到HDFS.

1.3.1 串行化

传输、存储都需要
Writable接口
Avro框架：IDL，版本支持，跨语言，JSON-linke

1.3.2 压缩

能够减少磁盘的占用空间和网络传输的量, 主要考虑以下几个选项：Compressed Size, Speed, Splittable，压缩算法有：gzip, bzip2, LZO, LZ4, Snappy。

使用时要比较各种压缩算法的压缩比和性能。压缩和拆分一般是冲突的（压缩后的文件的block是不能很好地拆分独立运行，很多时候某个文件的拆分点是被拆分到两个压缩文件中，这时Map任务就无法处理，所以对于这些压缩，Hadoop往往是直接使用一个Map任务处理整个文件的分析）。

Map的输出结果也可以进行压缩，这样可以减少Map结果到Reduce的传输的数据量，加快传输速率。

1.3.3 完整性

磁盘和网络很容易出错，保证数据传输的完整性一般是通过CRC32这种校验法。每次写数据到磁盘前都验证一下，同时保存校验码。每次读取数据时，也验证校验码，避免磁盘问题。
同时每个datanode都会定时检查每一个block的完整性，当发现某个block数据有问题时，也不是立刻报错，而是先去Namenode找一块该数据的完整备份进行恢复，不能恢复才报错。

1.4 Hadoop 测试

MRUnit单元测试Mapper和Reducer类在内存上独立运行, PipelineMapReduceDriver单线程运行.
LocalJobRunner单线程运行, 且仅有一个 Reducer能够启动
conf.set(“mapred.job.tracker”, “local”);
conf.set(“fs.default.name”, “file:////&ququot;);
FileSystem fs = FileSystem.getLocal(conf);

MiniMRCluster, MiniYarnCluster, MiniDFSCluster 多线程

1.5 Hadoop配置

有两种配置文件：
一种是-default.xml（只读，默认的配置）
一种是-site.xml（替换default中的配置）

1) core-site.xml 配置公共属性
2) hdfs-site.xml 配置HDFS
3) yarn-site.xml 配置YARN
4) mapred-site.xml 配置MapReduce

配置文件应用的顺序：
1) 在JobConf中指定的
2) 客户端机器上的-site.xml配置
3) slave节点上的-site.xml配置
4) __-default.xml中的配置

如果某个属性不想被覆盖，可以将其设置成final

<property>
        <name>{PROPERTY_NAME}</name>
        <value>{PROPERTY_VALUE}</value>
        <final>true</final>
</property>

1.6 Hadoop 监控

Log yarn.log-aggregation-enable=true如果显示错误，则日志存储在节点管理器运行节点上。当聚集启用时所有日志进行汇总，任务完成后转移到HDFS。

2 Hadoop HDFS

HDFS: Hadoop Distributed File System，分布式文件系统.

2.1 HDFS架构

2.1.1 Block数据

1) 基本存储单位，一般大小为64M，配置大的块主要有以下原因：

a) 减少搜寻时间，一般硬盘传输速率比寻道时间要快，大的块可以减少寻道时间；
b) 减少管理块的数据开销，每个块都需要在NameNode上有对应的记录；
c) 对数据块进行读写，减少建立网络的连接成本。

2) 一个大文件会被拆分成一个个的块，然后存储于不同的机器。如果一个文件少于Block大小，那么实际占用的空间为其文件的大小。
3) 基本的读写单位，类似于磁盘的页，每次都是读写一个块。
4) 每个块都会被复制到多台机器，默认复制3份。

2.1.2 NameNode

1) 存储文件的metadata，运行时所有数据都保存到内存，整个HDFS可存储的文件数受限于NameNode的内存大小。
2) 一个Block在NameNode中对应一条记录（一般一个block占用150字节），如果是大量的小文件，会消耗大量内存。同时map task的数量是由splits来决定的，所以用MapReduce处理大量的小文件时，就会产生过多的map task，线程管理开销将会增加作业时间。处理大量小文件的速度远远小于处理同等大小的大文件的速度。因此Hadoop建议存储大文件。
3) 数据会定时保存到本地磁盘，但不保存block的位置信息，而是由DataNode注册时上报和运行时维护。注意NameNode中与DataNode相关的信息并不保存到NameNode的文件系统中，而是NameNode每次重启后，动态重建。
4) NameNode失效则整个HDFS都失效了，所以要保证NameNode的可用性。

2.1.3 Secondary NameNode

定时与NameNode进行同步,定期合并文件系统镜像和编辑日志，然后把合并后的传给NameNode，替换其镜像，并清空编辑日志，类似于CheckPoint机制，但NameNode失效后仍需要手工将其设置成主机。

2.1.4 DataNode

1) 保存具体的block数据
2) 负责数据的读写操作和复制操作
3) DataNode启动时会向NameNode报告当前存储的数据块信息，后续也会定时报告修改信息
4) DataNode之间会进行通信，复制数据块，保证数据的冗余性

2.2 HDFS 写文件

1.客户端将文件写入本地磁盘的临时文件中
2.当临时文件大小达到一个block大小时，HDFS client通知NameNode，申请写入文件
3.NameNode在HDFS的文件系统中创建一个文件，并把该block id和要写入的DataNode的列表返回给客户端
4.客户端收到这些信息后，将临时文件写入DataNodes

4.1 客户端将文件内容写入第一个DataNode（一般以4kb为单位进行传输）
4.2 第一个DataNode接收后，将数据写入本地磁盘，同时也传输给第二个DataNode
4.3 依此类推到最后一个DataNode，数据在DataNode之间是通过pipeline的方式进行复制的
4.4 后面的DataNode接收完数据后，都会发送一个确认给前一个DataNode，最终第一个DataNode返回确认给客户端
4.5 当客户端接收到整个block的确认后，会向NameNode发送一个最终的确认信息
4.6 如果写入某个DataNode失败，数据会继续写入其他的DataNode。然后NameNode会找另外一个好的DataNode继续复制，以保证冗余性
4.7 每个block都会有一个校验码，并存放到独立的文件中，以便读的时候来验证其完整性

5.文件写完后（客户端关闭），NameNode提交文件。这时文件才可见，如果提交前，NameNode垮掉，那文件也就丢失了。fsync：只保证数据的信息写到NameNode上，但并不保证数据已经被写到DataNode中。

Rack aware（机架感知）

通过配置文件指定机架名和DNS的对应关系，假设复制参数是3，在写入文件时，会在本地的机架保存一份数据，然后在另外一个机架内保存两份数据（同机架内的传输速度快，从而提高性能），整个HDFS的集群，最好是负载平衡的，这样才能尽量利用集群的优势。

2.3 HDFS 读文件

1) 客户端向NameNode发送读取请求
2) NameNode返回文件的所有block和这些block所在的DataNodes（包括复制节点）
3) 客户端直接从DataNode中读取数据，如果该DataNode读取失败（DataNode失效或校验码不对），则从复制节点中读取（如果读取的数据就在本机，则直接读取，否则通过网络读取）

2.4 HDFS 可靠性

1) DataNode可以失效：DataNode会定时发送心跳到NameNode。如果一段时间内NameNode没有收到DataNode的心跳消息，则认为其失效。此时NameNode就会将该节点的数据（从该节点的复制节点中获取）复制到另外的DataNode中。
2) 数据可以毁坏：无论是写入时还是硬盘本身的问题，只要数据有问题（读取时通过校验码来检测），都可以通过其他的复制节点读取，同时还会再复制一份到健康的节点中。
3) NameNode不可靠。

2.5 HDFS 命令工具

fsck: 检查文件的完整性
start-balancer.sh: 重新平衡HDFS
hdfs dfs -copyFromLocal 从本地磁盘复制文件到HDFS

更多命令可以参考博客：
Hadoop HDFS 常用命令汇总
https://www.cndba.cn/dave/article/3258

签到成功

CNDBA社区