为什么要有 HBase ？Hadoop 生态圈中有了Hive， Hive 可以像关系型数据库那样操作数据，那么为什么还要有HBase？首先HBase是一个非关系型数据库，是用于存储数据的，Hive是用于处理数据的。Hive操作数据时虽然可以像关系型数据库那样操作，但Hive只是一个操作工具，而非一个针对大批量数据存储的解决方案。我们先来看看HBase是什么，
......
6
0
0
2023-10-02
前言 hbase 是一个基于 Hadoop 面向列的非关系型分布式数据库( NoSQL ), 设计概念来源于谷歌的 BigTable 模型，面向实时读写、随机访问大规模数据集的场景，是一个高可靠性、高性能、高伸缩的分布式存储系统，在大数据相关领域应用广泛. HBase 系统支持对所存储的数据进行透明切分，从而使得系统的存储以及计算具有良好的水平扩展性.知乎
......
49
0
0
2023-07-16
文章来源：加米谷大数据 HBase -site.xml和hbase-default.xml 在 Hadoop 中将特定于站点的HDFS配置添加到hdfs-site.xml文件，那么对于HBase，特定于站点的配置文件为conf/hbase-site.xml。有关可配置属性的列表，请参见下面的HBase默认配置或查看src/main/resources的 hb
......
88
0
0
2023-06-05
和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件；其二是因为HBase中更新操作以及删除操作实现都很简单，更新操作并没有更新原有数据，而是使用时间戳属性实现了多版本。删除操作也并没有真正删除原有数据，只
......
125
0
0
2022-12-26
HBase 定义HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。HBase的架构图架构角色:1）MasterMaster是所有Region Server的管理者，其实现为HRegionServer,主要作用有:对于表的DDL操作：create，delete，alter； 对于RegionServer的操作：分配regions到每个R
......
171
0
0
2022-12-26
HBase的相关操作-JavaAPI方式一、需求说明某某自来水公司，需要存储大量的缴费明细数据。以下截取了缴费明细的一部分内容因为缴费明细的数据记录非常庞大，该公司的信息部门决定使用HBase来存储这些数据。并且，他们希望能够通过Java程序来访问这些数据。二、准备工作1、创建IDEA Maven 项目2、导入相关pom依赖 <repositories
......
175
0
0
2022-10-09
HBase的高可用考虑关于HBase集群的一个问题，在当前的HBase集群中，只有一个Master，一旦Master出现故障，将会导致HBase不再可用。所以，在实际的生产环境中，是非常有必要搭建一个高可用的HBase集群的。一、HBASE高可用的简介 HBase的高可用配置其实就是HMaster的高可用。要搭建HBase的高可用，只需要再选择一个节点作为
......
149
0
0
2022-10-09
Hbase的架构一、Client 客户端，例如：发出HBase操作的请求。例如：之前我们编写的Java API代码、以及HBase shell，都是CLient 二、Master Server 监控RegionServer , 处理RegionServer故障转移 处理元数据的变更 , 处理region的分配或移除 在空闲时间进行数据的负载均衡 通过Zo
......
154
0
0
2022-10-09
陌陌案例一、陌陌案例的需求说明需求: 将陌陌中聊天记录存储到hbase中, 并提供查询的方案数据特点: 需要高并发写入操作, 读取操作较少 写多读少场景二、陌陌案例中表设计内容1、 hbase的名称空间(命名空间)hbase的名称空间, 可以将其理解为MySQL中数据库思考: MySQL中为什么要有这个数据库概念, 有什么作用呢?因为: 通过库将相关类型表放
......
159
0
0
2022-10-09
Apache Phoenix的基本介绍Apache Phoenix主要是基于HBase一款软件, 提供了一种全新(SQL)的方式来操作HBase中数据, 从而降低了使用HBase的门槛, 并且 Phoenix提供了各种优化措施Phoenix官方网址：http://phoenix.apache.org/Phoenix官网：「We put the SQL bac
......
253
0
0
2022-10-09
安装Phoenix一、下载大家可以从官网上下载与HBase版本对应的Phoenix版本。对应到HBase 2.1，应该使用版本「5.0.0-HBase-2.0」。http://phoenix.apache.org/download.html二、安装1、上传安装包到Linux系统，并解压cd /export/software
tar -xvzf apac
......
245
0
0
2022-10-09
Apache Phoenix的基本入门操作一、Phoenix的快速入门1、需求本次的小DEMO，我们沿用之前的订单数据集。我们将使用Phoenix来创建表，并进行数据增删改查操作。2、创建表语法在Phoenix中，我们可以使用类似于MySQL DDL的方式快速创建表。例如：CREATE TABLE IF NOT EXISTS 表名 (
R
......
173
0
0
2022-10-09
Apache Phoenix的视图操作一、应用场景因为我们之前已经创建了 MOMO_CHAT:MSG 表，而且数据添加的方式都是以PUT方式原生API来添加的。故此时，我们不再需要再使用Phoenix创建新的表，而是使用Phoenix中的视图，通过视图来建立与HBase表之间的映射，从而实现数据快速查询。二、视图介绍我们可以在现有的HBase或Phoenix
......
168
0
0
2022-10-09
Apache Phoenix 二级索引因为没有建立索引，组合条件查询效率较低，而通过使用Phoenix，我们可以非常方便地创建二级索引。Phoenix中的索引，其实底层还是表现为HBase中的表结构。这些索引表专门用来加快查询速度。一、索引分类全局索引本地索引覆盖索引函数索引二、索引分类_全局索引全局索引适用于读多写少业务全局索引绝大多数负载都发生在写入时，
......
189
0
0
2022-10-09
HBase读取和存储数据的流程一、HBase读取数据的流程1、由客户端发起读取数据的请求, 首先先连接 zookeeper , 从zookeeper获取hbase:meta表被哪个regionServer所管理meta表中主要记录了 hbase中各个表有那些region,以及每个region被哪个regionServer所管理hbase中非常特殊的元数据存储
......
161
0
0
2022-10-08