广州市建设工程交易服务中心网站,贵州 跨境电商网站建设,网站做的一样算不算侵权,网站 空间转移文章目录 简介参考文献 简介
这属于整个MR中最核心的一块#xff0c;后续小节会展开描述。
整个MR处理流程#xff0c;是分为Map阶段和Reduce阶段。
一般#xff0c;我们称Map阶段的进程是MapTask#xff0c;称Reduce阶段是ReduceTask。
其完整的工作流程如图#xff… 文章目录 简介参考文献 简介
这属于整个MR中最核心的一块后续小节会展开描述。
整个MR处理流程是分为Map阶段和Reduce阶段。
一般我们称Map阶段的进程是MapTask称Reduce阶段是ReduceTask。
其完整的工作流程如图 Map阶段具体的工作任务是啥呢
1 map阶段决定根据数据源可以选择根据什么方式来读取数据
默认情况下map阶段读数据是按行读读取到的KV里K是偏移量可以理解成行数V是这一行的内容。那map阶段是不是只能这么行读呢
不是。
这里就要介绍一个组件叫做InputFormat它就是用来控制数据的读取形式。
Hadoop中的InputFormat有好几种实现如FileInputFormat、TextInputFormat和CombineTextInputFormat等。
2 数据在被读进来之后就会交给Mapper来进行自定义业务逻辑的处理
3接着进行shuffle这是一个非常复杂的过程可以在这里进行排序、分区、压缩、合并等等 堪称MapReduce中最核心的环节。
最后进入reduce阶段也有一个组件叫做OutputFormat用来控制数据的输出形式。同样的它也有好几种实现默认的OutputFormat是把数据写进文件里那我想写进数据库里可不可以呢
当然可以自定义OutputFormat就可以。
接下来的几节就会围绕这个流程做展开讲述
InputFormatShuffle机制OutputFormatJoin应用
参考文献
【尚硅谷大数据Hadoop教程hadoop3.x搭建到集群调优百万播放】
