GBDT梯度提升决策树（Gradient Boosting Decision Tree），是一种集成学习的算法，它通过构建多个决策树来逐步修正之前模型的错误，从而提升模型整体的预测性能。GBDT属于Boosting方法的一种，这种方法会顺序构建一系列弱学习器（通常是决策树），每个后续模型都侧重于纠正前一个模型的错误。在GBDT中，这些弱学习器是回归决策树。G
......
49
0
0
2024-07-12
.DNS 介绍1.1什么是域名？域名（Domain Name），简称域名、网域，是由一串用点分隔的名字组成的Internet上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位。具有独一无二，不可重复的特性。1.2什么是 DNS？域名系统（Domain Name System，缩写：DNS）是互联网的一项服务。域名解析是把域名指向网站空间IP
......
64
0
0
2024-07-10
随着互联网的深入发展，网络传输中的数据安全性受到了前所未有的关注。HTTPS，作为HTTP的安全版本，为数据在客户端和服务器之间的传输提供了加密和身份验证，从而确保了数据的机密性、完整性和身份真实性。本文将详细探讨HTTPS背后的安全机制，包括SSL/TLS协议的工作原理、使用的加密技术、数字证书的重要性等，旨在为读者提供一个全面且深入的理解HTTPS的机会
......
97
0
0
2024-06-25
Hadoop学习：深入解析MapReduce的大数据魔力之数据压缩（四）4.1 概述1）压缩的好处和坏处压缩的优点：以减少磁盘IO、减少磁盘存储空间。 压缩的缺点：增加CPU开销。2）压缩原则（1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩4.2 MR 支持的压缩编码1）压缩算法对比介绍2）压缩性能的比较4.3 压缩方式选择压缩方式选择
......
180
0
0
2024-05-25
Hadoop学习：深入解析MapReduce的大数据魔力（三）3.5 MapReduce 内核源码解析3.5.1 MapTask 工作机制（1）Read阶段：MapTask通过InputFormat获得的RecordReader，从输入InputSplit中解析出一个个key/value。（2）Map阶段：该节点主要是将解析出的key/value交给用户编写
......
184
0
0
2024-05-25
Hadoop学习：深入解析MapReduce的大数据魔力（二）3.3 Shuffle 机制3.3.1 Shuffle 机制Map 方法之后，Reduce方法之前的数据处理过程称之为Shuffle。3.3.2 Partition 分区1、问题引出 要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机 归属地不同省份输出到不同文件中（分区）
......
189
0
0
2024-05-25
Hadoop学习：深入解析MapReduce的大数据魔力（一）前言在大数据时代，高效地处理海量数据成为了各行各业的迫切需求。Hadoop作为一种重要的大数据处理框架，其核心概念之一就是MapReduce。今天开始将深入了解MapReduce，探索其在大数据处理中的重要作用。1.MapReduce概述1.1MapReduce 定义MapReduce 是一个分布
......
181
0
0
2024-05-25
Hadoop学习指南：探索大数据时代的重要组成——HDFS（下）HDFS的读写流程（面试重点）HDFS 写数据流程1.1 剖析文件写入（1）客户端通过Distributed FileSystem 模块向NameNode 请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 （2）NameNode返回是否可以上传。 （3）客户端请求第一个 B
......
185
0
0
2024-05-25
HDFSHDFS概述1.1 HDFS 产出背景及定义1）HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2）HDFS定义HDFS（Hadoop Distributed Fi
......
174
0
0
2024-05-25
Hadoop运行模式(下）前言接着上篇，我们继续学习Hadoop运行模式。2.6 配置历史服务器为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：1）配置mapred-site.xml[atguigu@hadoop102 hadoop]$ vim mapred-site.xml
在该文件里面增加如下配置。<!-- 历史服务器端地
......
174
0
0
2024-05-25
Hadoop运行模式前言今天我们具体来介绍一下Hadoop的运行模式具体内容移步正文。Hadoop运行模式1）Hadoop 官方网站：http://hadoop.apache.org/ 2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 ➢ 本地模式：单机运行，只是用来演示一下官方案例。==生产环境不用。 == ➢ 伪分布式模式：也是
......
168
0
0
2024-05-25
Hadoop运行环境搭建（开发重点）模板虚拟机环境准备数据来源层安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50Ghadoop100 虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况[root
......
85
0
0
2024-05-25
前言计算机网络是指将分散的计算机设备通过通信线路连接起来，形成一个统一的网络。为了使得各个计算机之间能够相互通信，需要遵循一定的协议和规范。OSI参考模型和TCP/IP参考模型是计算机网络中常用的两种层次结构模型。其中，TCP/IP参考模型被广泛应用于实际的网络实现中。网络地址管理是计算机网络中的重要问题。IP地址是计算机在网络中的唯一标识，它包含了网络号和
......
118
0
0
2024-05-19
原文：System Design Interview – An Insider’s Guide 译者：飞龙 协议：CC BY-NC-SA 4.0十五、设计谷歌云盘近年来，Google Drive、Dropbox、微软 OneDrive、苹果 iCloud 等云存储服务变得非常流行。在这一章中，你被要求设计 Google Drive。在开始设计之前，让我们花点
......
117
0
0
2024-05-18
原文：System Design Interview – An Insider’s Guide 译者：飞龙 协议：CC BY-NC-SA 4.0九、设计网络爬虫在这一章中，我们关注网络爬虫设计：一个有趣而经典的系统设计面试问题。网络爬虫被称为机器人或蜘蛛。搜索引擎广泛使用它来发现 web 上新的或更新的内容。内容可以是网页、图像、视频、PDF 文件等。网络爬
......
115
0
0
2024-05-18