Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)4.1 概述1)压缩的好处和坏处压缩的优点:以减少磁盘IO、减少磁盘存储空间。 压缩的缺点:增加CPU开销。2)压缩原则(1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩4.2 MR 支持的压缩编码1)压缩算法对比介绍2)压缩性能的比较4.3 压缩方式选择压缩方式选择 ......
169
0
0
2024-05-25
Hadoop学习:深入解析MapReduce的大数据魔力(三)3.5 MapReduce 内核源码解析3.5.1 MapTask 工作机制(1)Read阶段:MapTask通过InputFormat获得的RecordReader,从输入InputSplit中解析出一个个key/value。(2)Map阶段:该节点主要是将解析出的key/value交给用户编写 ......
172
0
0
2024-05-25
Hadoop学习:深入解析MapReduce的大数据魔力(二)3.3 Shuffle 机制3.3.1 Shuffle 机制Map 方法之后,Reduce方法之前的数据处理过程称之为Shuffle。3.3.2 Partition 分区1、问题引出 要求将统计结果按照条件输出到不同文件中(分区)。比如:将统计结果按照手机 归属地不同省份输出到不同文件中(分区) ......
176
0
0
2024-05-25
Hadoop学习:深入解析MapReduce的大数据魔力(一)前言在大数据时代,高效地处理海量数据成为了各行各业的迫切需求。Hadoop作为一种重要的大数据处理框架,其核心概念之一就是MapReduce。今天开始将深入了解MapReduce,探索其在大数据处理中的重要作用。1.MapReduce概述1.1MapReduce 定义MapReduce 是一个分布 ......
169
0
0
2024-05-25
Hadoop学习指南:探索大数据时代的重要组成——HDFS(下)HDFS的读写流程(面试重点)HDFS 写数据流程1.1 剖析文件写入(1)客户端通过Distributed FileSystem 模块向NameNode 请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。 (2)NameNode返回是否可以上传。 (3)客户端请求第一个 B ......
172
0
0
2024-05-25
HDFSHDFS概述1.1 HDFS 产出背景及定义1)HDFS产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2)HDFS定义HDFS(Hadoop Distributed Fi ......
166
0
0
2024-05-25
Hadoop运行模式(下)前言接着上篇,我们继续学习Hadoop运行模式。2.6 配置历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:1)配置mapred-site.xml[atguigu@hadoop102 hadoop]$ vim mapred-site.xml 在该文件里面增加如下配置。<!-- 历史服务器端地 ......
167
0
0
2024-05-25
Hadoop运行模式前言今天我们具体来介绍一下Hadoop的运行模式具体内容移步正文。Hadoop运行模式1)Hadoop 官方网站:http://hadoop.apache.org/ 2)Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。 ➢ 本地模式:单机运行,只是用来演示一下官方案例。==生产环境不用。 == ➢ 伪分布式模式:也是 ......
159
0
0
2024-05-25
Hadoop运行环境搭建(开发重点)模板虚拟机环境准备数据来源层安装模板虚拟机,IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50Ghadoop100 虚拟机配置要求如下(本文Linux系统全部以CentOS-7.5-x86-1804为例)使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况[root ......
79
0
0
2024-05-25
步骤1:准备环境1.云服务器环境有三台云服务,系统centOS7.6,为了能够尽可能“分布”一下,所以三台机器都作为计算节点,master机器担任NameNode节点,兼任一个DataNode节点,slave1兼任secondaryNameNode和DataNode节点。内网IP主机名功能10.*.*.127masterNameNodesecondaryNa ......
95
0
0
2024-03-21
1.集群规划 集群节点分配 主机名 主机IP master 192.168.100.100 slave1 192.168.100.101 slave2 192.168.100.102 slave3 192.168.100.103 软件版本 软件名称 版本号 Java 1.8.0_15 ......
105
0
0
2024-02-25
Hadoop是一个开源的分布式存储和分布式计算框架,主要用于处理大量非结构化或半结构化的数据。它最初是由Apache基金会开发的,灵感来自于Google的MapReduce和GFS(Google文件系统)论文。Hadoop的核心是Hadoop Distributed File System(HDFS,Hadoop分布式文件系统)和MapReduce编程模型, ......
127
0
0
2024-02-01
思维导图HIVE介绍Hive是Hadoop的一个模块。它是一个用于开发SQL类型脚本执行MapReduce操作的平台。MapReduce是一种并行编程模型,用于在大型商用硬件集群上处理大量结构化、半结构化和非结构化数据。Hadoop 模块Hive:用于开发SQL类型脚本执行MapReduce操作的平台。Sqoop:用于在HDFS和关系数据库之间导入和导出数据 ......
140
0
0
2024-01-07
思维导图导语Hadoop是一个开源框架,允许在分布式环境中使用简单的编程模型来存储和处理大数据,跨计算机集群。它被设计成可以从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。Big Data概述大数据中的数据分为三种类型结构化数据:关系型数据。半结构化数据:XML数据。非结构化数据:Word、PDF、文本和媒体日志。研究处理大数据的技术时将考虑以下 ......
144
0
0
2024-01-07
HDFS 概述 产生背景 随着数据量越来越大,在一个操作系统中存不下所有的数据。需要将这些数据分配到更多的操作系统中,带来的问题是多操作系统不方便管理和维护。需要 一种系统来管理多台机器上的文件 ,这就是分布式文件管理系统。 HDFS是分布式文件管理系统中的一种 定义 HDFS( hadoop Distributed File System)它是一个文件 ......
216
0
0
2023-12-12