【大数据学习 | HBASE】hbase的写数据流程与hbase插入数据

开发者福利!热门AI工具限时免费用 购周边即赠Coding Plan Lite,Claude Code、Cursor等20+工具畅享,效率翻倍! 阅读详情

1. 写数据流程

在讲hbase的数据读写流程之前,我们先要进行普及一个事情就是zookeeper在hbase中的作用,zookeeper在整个hbase的集群中是一个协调者的身份存在的,能够协调多个hmaster实现主从的选举,维护整个集群的稳定性和高可靠性,除此之外zookeeper还用于记录hbase的元数据信息的情况.

我们知道hbase的一个表为了多个机器并行进行管理和查询,将数据按照行进行拆分为多个region部分,多个region的数据会分散到不同的regionserver中进行管理,每个region会记录着所存储数据的startkey和endkey,那么我们在查询hbase的一条数据的时候就要知道去那个region中查询,并且知道这个region在什么位置,这个数据会被系统自动记录到hbase:meta的表中。

hbase:002:0> list_namespace_tables 'hbase'
TABLE                                                                                                          
meta                                                                                                           
namespace                                                                                                      
2 row(s)
Took 0.0269 seconds 

这个表全部都是元数据信息,但是这个表也会存在很多region信息,我们应该去那个region中查询meta表的数据呢,这个时候meta表需要自己的一个元数据表进行记录这个表会放入到zookeeper中进行存储。

在zookeeper中会存在meta-region-server的一个数据信息

我们看一下meta表的数据信息:

# 进入hbase
hbase shell
# 查看表的数据
scan 'hbase:meta'
hbase:004:0> scan 'hbase:meta'
ROW                          COLUMN+CELL                                                                       
 hainiu:info                 column=table:state, ti
HBase批量插入数据 文章目录在前面关键点实现代码尾记 在前面 其实下文内容更适合在Spark中作为任务去执行,为了讲解,我先单独拎出来了,使用场景的话其实也很明显,就是大规模将数据HBase中。 关键点 大数据组件服务不可用(如断点、磁盘爆炸等)暂时不是本文内容所考虑的内容。 首先,使用HBase1.0以上版本才支持的BufferedMutator,对HBase执行异步入操作,使用mutate(Li... 阅读详情

相关推荐

HBase入流程详解

HBase入流程详解

日常分享数据分析开发、编程语言内容 2602

HBase 5种数据方式

Version :hadoop1.2.1; hbaes0.94.16;HBase数据方式,可以简单分为下面几种:1. 直接使用HTable进行导入,代码如下:package hbase.curd; import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.Ra

fansy1990的专栏 9489

HBase-读流程】HBase的读流程内部执行机制

1、客户端发起数据的请求,然后首先要连接 zookeeper,通过 zookeeper 去找到 HBase 中的 meta 文件对应的 region 所对应的 regionserver 的地址,连接 meta 文件所在的 regionserver,通过要数据的 rowkey,找到 rowkey 对应的 region(底层是根据 region 的范围去寻找的),然后找到 region 对应的 regionserver 的地址。

weixin_53543905的博客 2644

hbase shell基本操作

hbase shell基本操作

qq_43192537的博客 2924

插入数据HBase数据操作基础

1.背景介绍 作为一位世界级人工智能专家和技术领袖,我们今天来谈论一个非常重要的数据库技术:HBaseHBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以HDFS、MapReduce、ZooKeeper等其他组件集成。 在本文中,我们将深入探讨HBase数据操作基础,包括背景介绍、核心概念联系、核心算法原理...

AI天才研究院 2255

大数据—— HBase 知识点整理

目录 1. 什么是 HBase 2. 大数据中为何要使用 HBaseHBase大数据中的优势) 3. HBase 传统的关系数据库的区别 4. RowKey 的设计原则 5. RowKey 如何设计可以避免热点问题 6. HRegionServer 架构 7.HBase 性能优化方法总结 表的设计 表操作 读表操作 8. Hbase流程 hbase的读操作: hbase操作: 9. HBase 物理存储原理 10. HBase 中的 HFile 什么时候要合.

Vicky_Tang 4219

大数据hbase数据过程详解

带着问题来寻找答案: 1.HBASE的读过程就是HBASE的寻址过程 2.如何快速的寻找到地址? 3.为什么hbase可以快速的查询 数据? 4.Hbase数据模型:底层存储的数据到底是怎么样的过程 ? 5.Hbase数据模型设计:数据文件最终存储在hdfs的结构是怎么样的?并不是key value 客户端发起数据请求 构建Put对象:一个Put对象代表一行数据记录,可以...

qq_41919284的博客 1万+

大数据技术之HBase(超级详细)

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。 本文主要介绍了关于HBase的原理概念和发展还有一些实际操作案例,希望对各位小伙伴的学习有所帮助。

专注 AI、大数据、Python、爬虫、数据分析可视化、机器学习、推荐算法、知识图谱、大模型应用与全栈系统开发,长期沉淀真实项目案例、源码解析、系统设计、部署经验与工程化实践,分享可运行、可复用、可落地的技术方案。 2万+

大数据学习 | HBASE高级】hbase-phoenix 二次索引应用

上面我们学会了hbase的操作和原理,以及外部集成的mr的计算方式,但是我们在使用hbase的时候,有的时候我们要直接操作hbase做部分数据的查询和插入,这种原生的方式操作在工作过程中还是比较常见的,以上这些方式需要使用外部的框架进行协助处理,其实hbase也对外提供了一个直接的操作方式接口插件Phoenix,它和mr不一样,是直接集成在hbase之中的,通过一个工具使得hbase可以完全支持sql操作,其实我们可以将Phoenix当成是一个sql插件,一个可以sql完成hbase操作的插件,并且在hb

2301_80912559的博客 1925

大数据技术基础 | 实验七】HBase实验:部署HBase

本实验介绍HBase体系架构和部署HBase的相关实验步骤。理解HBase基础简介及体系架构,掌握HBase集群安装部署及HBase Shell的常用命令,了解HBase和HDFS及Zookeeper之间的关系。

Morse_Chen的博客 8033

大数据原理】实验三:熟悉常用的Hbase操作

深入理解了 HBase 操作系统、Java、Hadoop(若有依赖)之间的关系,能够独立完成从操作系统准备、Java 和 Hadoop 配置到 HBase 安装和启动的整个环境搭建过程,这为后续进一步学习和实践 HBase 相关技术奠定了坚实的基础。

everyone_dream的博客 2237

大数据技术原理应用第4讲:分布式数据HBase

1HBase是一种 数据库A.列式数据库 B.键值数据库 C.文档数据库 D.关系数据库 2下列对HBase数据模型的描述错误的是A.HBase中执行更新操作时,会删除数据旧的版本,并生成一个新的版本 B.每个HBase表都由若干行组成,每个行由行键(row key)来标识 C.HBase列族支持动态扩展,可以很轻松地添加一个列族或列 D.HBase是一个稀疏、多维度、排序的映射表,这...

一个程序媛的成长记录❤ 1万+

大数据学习 | HBASE高级】hive操作hbase

一般在查询hbase数据的时候我们可以直接使用hbase的命令行或者是api进行查询就行了,但是在日常的计算过程中我们一般都不是为了查询,都是在查询的基础上进行二次计算,所以使用hbase的命令是没有办法进行数据计算的,并且对于hbase的压力也会增加很多,,这个代码上面我们已经实现过了,但是后续开发过程中很少有人会直接开发mr程序,这个代码的复杂程度比较高,并且会非常大的拖慢我们的开发速度,所以一般我们都会,进行。首先在hive中增加hbase的链接信息。修改hive-site.xml中的值。

2301_80912559的博客 1761

大数据】GeoMesa HBase空间数据插入追加

一、5个shp文件数据 二、插入命令解读 geomesa-hbase ingest --catalog Chinese_buildings_1 --feature-name Chinese_buildings_2 --input-format shp "/usr/local/build/gis_osm_buildings_a_free_1.shp" 类比于MySQL中的create...

我的笔记 2494

大数据学习HBase入门笔记

文章目录一、HBase简介1.1、HBase定义1.2、HBase数据模型1.2.1、HBase逻辑结构1.2.2、物理存储结构1.2.3、数据模型1.3、HBase基础架构(入门版)二、快速入门2.1、HBase安装部署2.2、命令行操作 DDL2.2.1、基本操作2.2.2、表操作2.2.3、NameSpace操作2.3、命令行操作 DML2.3.1、数据增&查2.3.2、数据改&删2.3.3、数据多版本(VERSIONS)三、HBase进阶3.1、架构原理(进阶版)3.2、流程3.3

5akura's Blog 1919

大数据小白初探Hbase从零到入门

今天把之前学习Hbase的入门基础知识笔记翻出来了,为了不忘记也是帮助身边的小伙伴,我把他又整理了下放了出来给大家,希望对HBASE一知半解的小伙伴,能够对Hbase有一个清晰的认识,好了废话不多说,进入正题。以上内容就是初的识HBase 入门知识,包含了hbase的由来,特性,物理存储,逻辑存储模型,以及优缺点,应用场景这些内容,相信后面在使用或更深入的研究Hbase打下了良好的基础,后面的更深入的学习内容,看计划安排在后面的文章中进行更新。

程序员阿奇的私房菜 1805

ESHBase大数据世界的双雄对决

•ES:适用于需要高性能搜索的应用场景,特别是那些涉及复杂查询逻辑的情况。•HBase:更适合处理超大规模的数据集,尤其是在数据入和读取效率方面表现卓越。最后,我想说的是,每种技术都有其独特之处,没有绝对的好坏之分。关键在于根据实际需求做出合适的选择。希望这篇文章能够帮助大家更好地理解ES和HBase的区别,也欢迎大家留言讨论哦!记住,技术的学习永无止境,让我们一起在这条路上不断探索前进吧!🚀注:本文旨在通过通俗易懂的方式解释复杂的概念,希望能为读者带来启发和思考。

Kenneth55的专栏 1206

大数据学习 | HBASEhbase的原理组成结构

比如info列就会存储到一个单独的hfile文件中,但是hbase中存储的数据会非常的多,那么一个列单独保存在一个hfile中,也是难管理和查询的,所以按照行级别进行数据的分割存储到不同的文件中,这样可以非常快速的检索出来数据,但是不能够解决掉数据的修改问题,因为底层是hdfs的存储,这样是没有办法灵活修改和变化的,这个时候。,用来记录我们在hbase中创建了多少个表,并且每个表存在多少个列,这样就可以实现表格级别的使用和管理,并且会将表格的数据放入到hdfs中存储,为了方便查询和管理会。

2301_80912559的博客 1370

HBase NoSQL 数据库对比:了解 HBase大数据领域的优势

HBase 是一个分布式、可扩展、高性能的列式存储数据库,它是 Apache Hadoop 项目的一部分。HBase 设计用于存储海量数据并提供低延迟、自动分区、数据备份和恢复等特性。HBase 是一个 NoSQL 数据库,它其他 NoSQL 数据库如 Cassandra、MongoDB 等有一定的相似性,但也有一些独特的优势。在本文中,我们将对比 HBase 其他 NoSQL 数据库,深入了解 HBase大数据领域的优势。背景介绍核心概念联系。

AI天才研究院 1427
上一篇: 【大数据学习 | HBASE】hbase shell基础实操
下一篇: 【大数据学习 | HBASE】hbase的读数据流程与hbase读取数据
Vez'nan的幸福生活
Vez'nan的幸福生活 新星创作者: Java技术领域 新星创作者: Java技术领域
博客等级 码龄3年 2935粉丝 361原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值