Hbase架构剖析
HBase隶属于hadoop生态系统,它参考了谷歌的BigTable建模,实现的编程语言为 Java, 建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的range来检索数据,主要用来存储非结构化和半结构化的松散数据。与hadoop一样,Hbase目标主要依靠横向扩...
2024-01-10Yarn架构
Yarn架构(Master-Slave)进程角色:resourceManager(Master):任务调度和集群资源管理。nodeManager(Slave):单个节点的资源管理。applicationMaster:为任务程序申请资源,任务程序运行状态监控、错误恢复。container:对运行环境资源的抽象,是资源分配和使用的单元,包括cpu、内存、环境变量等资源。clie...
2024-01-10GaussDB架构(上)
GaussDB是华为公司数据库产品品牌名。华为公司从开始自研数据库至今已经有近20年历史,其中经历了早期发展、GaussDB的诞生和发展、数据库产业化三个阶段。本文简明介绍华为公司自研数据库的历程,并给出一些GaussDB的里程碑时间点。GaussDB的发展历史是中国数据库发展历程的典型案例。GaussDB以云服务形...
2024-01-10GaussDB架构(下)
GaussDB云数据库架构云数据库系统的主要目的是提供数据库系统服务的基础设施,以实现对计算机资源的共享。本文所讲述的GaussDB云数据库架构设计的内容,目前处于研发阶段,对应产品尚未向客户发布。1.设计思想与目标客户从数据存放的位置来看,云数据库系统可以分成三大类:公有云数据库系统服务:...
2024-01-10GaussDB架构(中)
在GaussDB架构(上)中我们介绍了GaussDB的发展历史和架构概览,本篇主要介绍GaussDB OLTP数据库架构和GaussDB OLAP数据库架构。GaussDB OLTP数据库架构。OLTP是传统的关系数据库的主要应用,包括基本的增加、删除、修改、查询事务处理,例如银行交易。1. 设计思想与目标客户OLTP业务场景主要分为两大类:一类...
2024-01-10详解CocosCreator MVC架构
概述这一篇将介绍在游戏客户端常用的架构MVC架构。一个游戏的MVC如下划分:M:1)单例全局的数据中心World,所有游戏模块的数据在World中有入口,2)各个模块自己的数据结构。V:1)通过creator预制体制作的UI界面、场景,2)各个界面显示逻辑的ViewCtrlC:1)全局的MainCtrl,2)各个模块的业务逻辑类...
2024-01-10【赵强老师】HBase的体系架构
一、什么是HBase?HBase是一个基于HDFS之上的分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“BigTable大表”,即:把所有的数据存入一张表中。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的H...
2024-01-10一文带你读懂Hbase的架构组成
hi,大家好,我是大D。今天咱们继续深挖一下 HBase 的架构组成。Hbase 作为 NoSQL 数据库的代表,属于三驾马车之一 BigTable 的对应实现,HBase 的出现很好地弥补了大数据快速查询能力的空缺。在前面咱们也有介绍过 HBase 的数据模型,感兴趣的小伙伴可以翻看下。谈谈你对HBase数据模型的认识?HBase 的核...
2024-01-10全面认识HBase架构(建议收藏)
因此,以这篇文章作为骨架,翻译了许多原文的内容,同时对一些细节进行自己的扩展,形成本文。1.HBase架构组成从物理结构上,HBase包含了三种类型的server,zookeeper、HMaster、region server,采用一种主从模式的结构。 region server主要用来服务读和写操作。当用户通过client访问数据时,client会和HBas...
2024-01-10HBase笔记(2)架构解析(未写完,改天写)
HBase基本架构:RegionServer的作用Data (某一行或者几行数据的操作):get, put, delete (查、增、删,改是通过时间戳timestamp控制的)Region (相当于水平分表): splitRegion(切分), compactRegion(合并)Master的作用:Table:create, delete, alterRegionServer: 分配regions到每个RegionServer,监控每个RegionServer的状态。...
2024-01-10一文读懂GaussDB(forMongo)的计算存储分离架构
摘要:IDC认为,目前阶段来看,企业亟待解决的是数字化能力提升,包括:与业务的深入结合能力;数据处理和挖掘能力;以及IT技术运营和管理能力。特别是数据处理和挖掘能力,因为数字化转型推进企业从以流程为核心向以数据为核心转型,对海量、异构、多类型的数据处理和挖掘能力是释放数据...
2024-01-10【从零单排HBase02】全面认识HBase架构(建议收藏)
因此,以这篇文章作为骨架,翻译了许多原文的内容,同时对一些细节进行自己的扩展,形成本文。1.HBase架构组成从物理结构上,HBase包含了三种类型的server,zookeeper、HMaster、region server,采用一种主从模式的结构。 region server主要用来服务读和写操作。当用户通过client访问数据时,client会和HBas...
2024-01-10AIOps对监控报警架构的挑战
作者简介:周伟 百度高级研发工程师负责百度智能运维(Noah)监控报警系统、通告平台;在精准报警、精准通告、报警收敛、公/私有云监控等方向具有广泛的实践经验。干货概览监控报警是故障发现的重要一环,也是百度在AIOps的最早切入方向之一,目前百度 AIOps 在监控报警方面已经有两个场景...
2024-01-10Lucene 的总体架构
Lucene 总的来说是:一个高效的,可扩展的,全文检索库。全部用 Java 实现,无须配置。仅支持纯文本文件的索引(Indexing)和搜索(Search)。不负责由其他格式的文件抽取纯文本文件,或从网络中抓取文件的过程。在Lucene in action中,Lucene 的构架和过程如下图:说明Lucene是有索引和搜索的两个过程,包含...
2024-01-10cs架构和bs架构的区别
品牌型号:联想拯救者Y9000P系统:Windows 111、硬件环境不同:CS一般是建立在专用网络上,在小范围的网络环境下,在局域网之间并通过专用服务器提供连接和数据交换服务。BS构建在广域网上,不一定是专用的网络硬件环境。比如电话上网、出租设备、信息管理等,都比CS具有更强的适应性,一般只要有操作系统和浏览器即可。2、信息流不同:CS程序一般是典型的中央集权的机械式处理,交互性相对低。...
2024-03-15EasyPoi教程和使用案例
EasyPoi教程和使用案例 先上文档:http://easypoi.mydoc.io/ 基于Apache poi 开发的EasyPoi,比起poi更加简单易用,但是功能没有poi强大,。 特性总结:优点:通过简单的注解和模板 语言(熟悉的表达式语法),完成以前复杂的写法。推荐使用注解功能。支持Excel导入与导出,同时支持xls和xlsm,即07版本和03版...
2024-01-10HIVE架构
UI: 用于提交查询的客户端,hive自带有CLI(command line),现在推荐使用beelineDRIVER: 1.用于接收客户端提交的SQL,并实现了session控制 2.并提供了jdbc/odbc的fetch和execute功能COMPILER: 编译器,负责解析SQL,并从METASTORE那里获取元数据生...
2024-01-10项目架构
对于一个新的项目,你准备怎么设计它?或者,对于一个新的需求,你准备怎么设计它?代码的组织结构,本身也是一种架构,比如MVC。在实际工作中,我们都喜欢对代码进行分层,比如,将代码分成了如下几个部分,controller面向具体业务提供服务;service也提供功能的实现,但不针对业务;mapper主要...
2024-01-10永辉彩食鲜架构概述
背景满足整个永辉彩食鲜大B业务从线上到供应链的全线业务系统的研发和维护,保证整个系统的稳定性和性能。架构思考大B业务不同于小B业务,它没有常见的业务高并发的场景,所以更多是对业务数据的一致性(业务数据基本都跟财务相关),系统的稳定性和常规故障自动恢复能力有更高期盼和要...
2024-01-10HDFS架构
HDFS架构(Master-Slave)几个进程的角色nameNode(master):用于保存、管理、持久化文件的元数据(文件名、文件副本数、文件块大小、文件块列表),同时还要接收客户端的文件读写请求。secondaryNameNode:用于实时同步文件元数据,给nameNode服务做副本,担当高可用备份,nameNode处于正常状态时secondaryN...
2024-01-10MySQL架构
执行流程简介主要分为server层和存储引擎层。server层主要分为:连接器、解析器、优化器、执行器、查询缓存连接器:主要作用就是用户认证、给用户创建连接并使用连接池维护连接。查询缓存:建立连接之后,就可以进行SQL操作了,如果该SQL语句在查询缓存中可以匹配到,则不需要找后面的模...
2024-01-10架构基本概念和架构本质
CSDN看到一篇介绍架构设计的博客,内容提纲挈领,内容丰富。依据原文整理,加上自己的理解和总结。 推荐给大家。点击原文可以查看出处。原文链接:https://blog.csdn.net/hguisu/article/details/78258430什么是架构和架构本质在软件行业,对于什么是架构,都有很多的争论,每个人都有自己的理解。此君说...
2024-01-10REST架构指导方案
REST架构指导方案[TOC]何为REST在2014年之后,社区中关于RESTFUL风格的文章开始渐渐多起,大多数RESTFUL的文章都是在阐述一种HTTP URL路径的写法风格。简单总结来说,这些文章归纳的点主要是:URL路径应该是名词而非动词。通过HTTP几个动词:GET,POST,PUT,DELETE来对“资源”进行CURD操作。但是为何要是名...
2024-01-10前端架构认知
没有一种架构是可以满足所有迭代的需求的前言架构并不是只限于技术选型是架构设计作为软件生命周期的一部分,并不是说开始的时候 设计完成后就会一成不变,软件的生命周期包含了迭代、维护、重构等过程,架构设计亦是如此,所以说架构是需要变化的,目的就是适应当前情况的开发场景...
2024-01-10TcaplusDB君的小知识之TcaplusDB架构描述
数据库作为信息系统的核心,数据库设计需要根据用户的需求,针对业务逻辑上,设计结构和建立数据库。由于数据库应用系统的复杂性,数据库的设计不可能一蹴而就,也没有统一的最好的设计结构,因为对于不同的业务来说,所需要的数据库的支撑是不同的。设计数据库架构时,应遵守以下设计原...
2024-01-10Skylake架构简析
因为实验室服务器的CPU是Intel Xeon Gold系列,所以这里简要介绍一下Intel的Skylake-SP架构。简介Skylake是2015年Intel提出的14nm新架构Skylake Scalable Processor (SP)针对服务器端Skylake桌面版和Skylake服务器版(SP)最大的区别在于cache的层次结构不同了实验室服务器Intel Gold 5118的cache层次结构如下Cache Organizati...
2024-01-10Serverless 架构如何演进详细介绍
Serverless 架构演进Serverless架构风格挑战了软件设计和软件部署基础的现状,以实现最佳开发、最优运营和最优的管理开销。虽然它继承了微服务架构MSA的基本概念,但它已被赋予了新的架构模式,尽可能实现最高效的硬件利用。尽管Serverless架构有显著的进步,但适应这种架构需要一个周全的过程,把...
2024-01-10