Hadoop MapReduce 入门

2020-09-24 08:00:00 · 飞浪

Hadoop 使用 MapReduce 来处理大量数据，将大问题分解为小问题，在节点之间分配任务，并汇总结果。

介绍

分布式系统因其处理大数据的效率而广受欢迎。利用计算集群处理大量数据的方法有很多种。Hadoop 采用分而治之的模式。它将大问题分解为小问题，将任务分配到各个节点，然后汇总各个结果以形成最终输出。

Hadoop 中执行处理的组件是MapReduce，这是一个旨在在分布式集群上并行处理大量数据的软件框架。

MapReduce 的工作原理是将输入数据分割成更小的块，并将其提供给称为映射器(mapper) 的处理组件。然后，映射器将其处理后的输出传递给Reducer (reducer)，后者产生最终输出。

本指南假设您对整个 Hadoop 架构有基本的了解。Hadoop 的入门指南可在此处找到。

为了实现其功能，该架构包含两个以控制器-操作员方式设计的主要处理元件。它们是：

1. Job Tracker：控制器。负责作业调度并向驻留在每个节点中的运算符组件发出执行命令。它还负责重新执行失败的任务。

2. 任务跟踪器：操作员。存在于每个节点上，执行指令并将反馈传回控制器组件。

如上所示，MapReduce 的运行分为两个阶段：map 阶段和 Reduce 阶段。

这是在 Hadoop 系统中执行处理任务时发生的第一个阶段。该框架以<key,value>对的形式理解数据，因此必须对输入数据进行预处理以匹配此预期格式。输入数据集通过称为逻辑分割的方法分解为较小的块。

然后将逻辑块分配给可用的映射器，映射器将每个输入记录处理为 <key,value> 对。此阶段的输出被视为中间输出。

输出可以经过中间过程，其中映射器输出数据在输入到 Reducer 之前会经过进一步处理。这些过程包括合并、排序、分区和混洗。有关这些过程的重要性的更多信息，请参见此处。这些过程的中间数据存储在相应处理节点内的本地文件系统中。

每个作业的 Reducer 数量是可配置的，可以在mapred-site.xml配置文件中设置。

处理阶段的 Reducer 获取 Mapper 阶段的输出并处理数据以生成最终输出，该输出由称为记录写入器的函数记录在 Hadoop 分布式文件系统 (HDFS) 内的输出文件中。

现在，您已经了解了 MapReduce 编程范式以及它在分布式计算中的实现方式，以促进大型数据集的分布式并行处理。主要方法是分而治之。这项技能对于组织中担任大数据工程师或分布式计算架构师角色的任何开发人员都至关重要。

为了进一步理解本指南，请进一步了解分布式和并行计算，尤其是如何在分布式集群中协商和分配资源以处理处理和存储。在 Hadoop 中，资源协商和分配由YARN执行。可以在此处找到 Hadoop 的 YARN 入门指南。

_{免责声明：本内容来源于第三方作者授权、网友推荐或互联网整理，旨在为广大用户提供学习与参考之用。所有文本和图片版权归原创网站或作者本人所有，其观点并不代表本站立场。如有任何版权侵犯或转载不当之情况，请与我们取得联系，我们将尽快进行相关处理与修改。感谢您的理解与支持！}

_查看原文

技术指南

阅读全文