思维导图导语Hadoop是一个开源框架,允许在分布式环境中使用简单的编程模型来存储和处理大数据,跨计算机集群。它被设计成可以从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。Big Data概述大数据中的数据分为三种类型结构化数据:关系型数据。半结构化数据:XML数据。非结构化数据:Word、PDF、文本和媒体日志。研究处理大数据的技术时将考虑以下 ......
88
0
0
2024-01-07
主要基于对现阶段一些常用的大数据开源框架技术的整理,只是一些简单的介绍,并不是详细技术梳理。可能会有疏漏,发现再整理。参考得太多,就不一一列出来了。这只是作为一个梳理,对以后选型或者扩展的做个参考。 系统平台 Hadoop :Apache Hadoop是一个开源的分布式系统基础框架,离线数据的分布式存储和计算的解决方案。 Hadoop最早起源于Nutch,N ......
134
0
0
2023-12-18
01离线批处理 这里所说的 批处理 指的是大数据离线分布式批处理技术,专用于应对那些一次计算需要输入大量历史数据,并且对实时性要求不高的场景。目前常用的开源批处理组件有 MapReduce 和 Spark ,两者都是基于MapReduce计算模型的。 1.MapReduce计算模型 MapReduce是 Google 提出的分布式计算模型,分为Map ......
95
0
0
2023-12-14
HDFS 概述 产生背景 随着数据量越来越大,在一个操作系统中存不下所有的数据。需要将这些数据分配到更多的操作系统中,带来的问题是多操作系统不方便管理和维护。需要 一种系统来管理多台机器上的文件 ,这就是分布式文件管理系统。 HDFS是分布式文件管理系统中的一种 定义 HDFS( hadoop Distributed File System)它是一个文件 ......
164
0
0
2023-12-12
一、回顾常用的命令 在上篇文章中整理了 HDFS 常用的命令,这里进行简单的回顾。 ls 命令用来查看 HDFS 系统中的目录和文件 ,命令如下: $ hadoop fs -ls / put 命令用来将本地文件上传到 hdfs 系统中 ,命令如下: $ hadoop fs -put test.txt / moveFro ......
145
0
0
2023-08-27
在这个信息时代高速发展的情况下,很多人会对自己该往哪个方向发展感到迷茫,下面我就浅显的给大家介绍一下五大流行区域的发展前景。大数据 的发展前景:当前大数据行业真的是人才稀缺吗?学了几年后,大数据行业会不会产能过剩?大数据行业最终需要什么样的人才? 接下来就带你们看看分析结果:当前大数据行业真的是人才稀缺吗?对!未来人才缺口150万,数据分析人才最稀缺。先看大 ......
178
0
0
2023-07-07
在这个信息时代高速发展的情况下,很多人会对自己该往哪个方向发展感到迷茫,下面我就浅显的给大家介绍一下五大流行区域的发展前景。 大数据 的发展前景:当前大数据行业真的是人才稀缺吗?学了几年后,大数据行业会不会产能过剩?大数据行业最终需要什么样的人才?接下来就带你们看看分析结果: 当前大数据行业真的是人才稀缺吗?对未来人才缺口150万,数据分析人才最稀缺。先看大 ......
188
0
0
2023-06-11
首先轻松一下:学校门前,一名家长趁摊主正忙,把一瓶奶茶暗暗塞给身后的儿子,举着另一瓶奶茶付完钱正要走,身后的儿子嚷道:“两瓶,我这还有一瓶!”摊主皱皱眉,很快笑了:“你妈妈这一瓶盖上有奖,那一瓶是奖品!”孩子进校后,家长红着脸要补钱,摊主对她摆摆手道:“票子是小事,孩子是大事…… Exchangis是一款轻量级的数据交换服务平台,支持结构化、半结构化以及无结 ......
187
0
0
2023-06-08
HDFS 是Hadoo平台的核心,其全称是 hadoop Distributed File System,即分布式文件系统。 HDFS是一个高容错性的系统,适合部署在廉价的服务器上,从而可有效降低了数据的存储成本。同时,HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。 1.HDFS的技术架构 HDFS 采用了主从(Master/Sl ......
169
0
0
2023-06-05
目录Mybatis 大数据量批量写优化附录:Mybatis批量处理优化普通插入foreach 优化插入Mybatis 大数据量批量写优化在项目中使用批量数据插入,经常会用到 mybatis的 foreach,如下:<insert id="batchInsert" parameterType="java.util.List"> inser ......
211
0
0
2023-05-19
目录1 MapRedcue的介绍1.1 MapReduce定义1.2 MapReduce的思想1.3 MapReduce优点1.4 MapReduce的缺点1.5 MapReduce进程1.6 MapReduce-WordCount2 Hadoop序列化2.1 序列化的定义2.2 hadoop序列化和java序列化的区别3 MapReduce 的原理3.1 ......
241
0
0
2023-04-05
目录关于BitmapWhatBitMap的简单实现BitSet源码理解备注信息核心片段理解WhyBitMap的特点BitMap的优化RoaringBitmap的核心原理howBitMap在用户分群的应用传统解决方案使用BitMap的方案BitMap在A/B实验平台业务的应用结语关于Bitmap在大数据时代,想要不断提升基于海量数据获取的决策、洞察发现和流程优 ......
357
0
0
2023-02-21
1. HDFS—核心参数1.1 NameNode 内存生产配置1.2 NameNode 心跳并发配置1.3 开启回收站配置2. HDFS—集群压测2.1 测试 HDFS写性能2.2 测试HDFS 读性能3 HDFS—多目录3.1 NameNode 多目录配置3.2 DataNode 多目录配置3.3 集群数据均衡之磁盘间数据均衡4 HDFS—集群扩容及缩容4 ......
278
0
0
2022-11-08
​本文介绍基于PHP扩展xlswriter的Vtiful\Kernel\Excel类可以支持无限层级的复杂表头导出!后续也可能会持续更新优化一、准备xlswriter扩展1、windows系统:到PECL网站下载符合自己本地PHP环境的ddl文件:https://pecl.php.net/package/xlswriter,并复制到PHP的扩展目录ext文件 ......
303
0
0
2022-10-15
大数据实时并行处理上面我们讲了 大数据的数据查询方法 ,使用Hive或者 Impala,但是这些只能查询固定历史的数据,如果要实时计算可能就不是那么合适了。那如何进行实时并行处理数据呢?这就是我们今天要说的技术点:Step 5:有了计算能力之后,如何进行高并发的实时计算?   我们现在有了强大的以mapReduce为基础的海量数 ......
258
0
0
2022-10-14